IT基础2：单机、集群、分布式&Hadoop、Hive、Spark计算引擎

IT基础2：单机、集群、分布式&Hadoop、Hive、Spark计算引擎

一、单机、集群、分布式

1、单机

一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。

2、集群

单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍（有几个节点就相当于提升了这么多倍）。

3、分布式（微服务）

分布式结构就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统，在分布式结构中，每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中，它们之间通过RPC方式通信。

PS:从单机到集群再到分布式是解决的计算资源的问题，是移动的程序，将程序从单机扩展到集群，再把程序分解成独立的子系统，解决负载均衡的问题。

一、Hadoop、Hive、Spark计算引擎

Hadoop、Hive、Spark是用来处理大型数据集的分布式计算引擎。

结合上面简单来说：

Hadoop、Hive、Spark都是分布式集群；

1、Hadoop：是分布式计算和分布式文件系统，由三大组建构成分布式文件系统：

HDFS，实现将文件分布式存储在很多的服务器上分布式运算编程框架；

MapReduce，现多台机器的分布式并行运算；

YARN，分布式资源调度平台，帮用户调度大量的map reduce程序，并合理分配运算资源；

其中HDFS架构：

 MapReduce架构

 

yarn架构

 

 

2、Hive：是基于Hadoop平台的数据仓库，最初由Facebook开发，是Hadoop的SQL引擎标准。Hive定义了一种类似SQL的的查询语言（HQL），将SQL转化为MapReduce任务再Hadoop上执行；

3、Spark作为Hive计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过Hive on Spark模式提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。