简单认识HDFS

简单认识HDFS 1. HDFS是什么

HDFS是Hadoop里的分布式文件系统，为Hbase、Hive提供底层存储。

2. HDFS架构 2.1架构图

2.2解释

NameNode功能

1. 负责客户端（用户Client）的请求响应。
2. 负责元数据（文件名称、副本系数、block存放的位置（DataNode））的管理。

DataNode功能

1. 存储用户文件相应的数据块。
2. 定时向NameNode发送心跳信息，汇报本节点以及所有block的信息和健康状况（文件名字、文件大小、本节点是否正常工作等信息）。

2.3运行描述

用户向NameNode发送文件访问、读写请求时，NameNode负责响应并找到 *** 作位置，发送指令让DataNode进行响应。

文件写入过程

文件块通常是64或者128M、G大小进行切分的。首先NameNode将数据切分，同时NameNode找到三个适合DataNode进行写入。先完成DataNode1的写入，再通过DataNode1写入到NataNode2中，依次完成三副本备份。

文件读取过程

用户发送文件名称给NameNode，NameNode先找到所有文件位置，再进入到DataNode中进行下载，下载完成再传给用户。