hadoop学习二-相关概念

1 HDFS概述

• NameNode：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限）以及每个文件的块列表和块所在的DataNode等
• DataNode：在本地文件系统存储文件数据块以及块数据的校验和
• Secondary NameNode：每隔一段时间对NameNode元数据进行备份
  

2 MapReduce概述

MapReduce将计算过程分为两个阶段：Map和Reduce

• Map阶段并行处理输入数据
• Reduce阶段对Map结果进行汇总
  

3 YARN架构概述

Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是hadoop的资源管理器