大数据——Hadoop组成及架构分析

大数据——Hadoop组成及架构分析

一、Hadoop组成

Hadoop1.x

主要由MapReduce+HDFS+Common组成

MapReduce：负责任务的计算以及实现资源的调度

HDFS：负责数据的存储

Common：是一个Hadoop的底层的辅助工具，为框架服务

Hadoop2.x

在1.x版本上进一步解耦及优化，增加了Yarn。在2.x中，MapReduce只负责计算，而Yarn单独负责资源的调度

二、Hadoop架构分析

HDFS

1. NameNode：即nn，负责存储文件的元数据，如文件名、文件目录结构、文件属性（文件的生成时间、副本数量、文件权限等），以及每个文件的块列表和块所在的DataNode等。简单的理解，NameNode就相当于字典的拼音或者笔画的查询目录，可以对每一个文字进行索引

2. DataNode：即dn，负责在本地文件系统中存储文件的块数据，以及块数据的校验。这里，DataNode就相当于真正的数据位置

3. Second NameNode：即2nn，负责每隔一段时间对NameNode的元数据进行备份 *** 作。通俗一点来讲，2nn就相当于是nn的随身助理，帮nn进行工作的内容的备份，但2nn并不能代替nn，不能承担nn的任务

Yarn

1. Resource Manager(RM)：

处理客户端的请求

监控Node Manager

启动或监控Application Master

资源的分配与调度

2. Node Manager(NM)：

管理单个节点上的资源

处理来自Resource Manager的命令

后处理来自Application Master的命令

3. Application Master(AM)：

负责数据的切分

为应用程序申请资源分配给内部的任务

任务的监控与容错

4. Container：

是Yarn中的资源抽象，它封装了某个节点上的多维资源，如：内存、CPU、磁盘、网络等

MapReduce

MapReduce将计算过程分为两个阶段：Map和Reduce

Map阶段并行处理输入数据

Reduce阶段对Map结果进行汇总