HDFS总结

HDFS总结

一、描述一下HDFS的数据写入流程

客户端接收传输xxx文件请求，通过distbur类向namenode请求传输文件，namenode对文件路径进行检查并对请求传输用户进行权限验证，验证成功后相应同意请求，客户端再向namenode传输一个block块，namenode通过机架感知向客户端返回3个datanode节点信息，客户端接收后再通过FS类，通过网络拓扑原理选择一个datanode节点进行建立传输，再通过第一个datanode节点依次与其他datanode节点建立传输，均遵循网络拓扑原理，进行串行连接的主要原因是节省内存，减少io流的建立，通过最后一个datanode节点向前一个datanode节点相应建立成功，最后通过第一个datanode节点向客户端相应建立成功，客户端再通过FS类向d1传输packet，d1传输成功后，再通过d1向d2进行传输packet，依此类推，直到传输完毕。

二、描述一下HDFS的数据读取流程

客户端请求读取xxx.avi文件，namenode查询是否存在此文件和对用户进行权限验证，验证无问题返回对应节点，客户端与datanode节点进行请求访问下载，最后通过FSinputStream对象将数据读取到本地，如果有多个块信息就会请求多次datanode.

三、简述HDFS的架构，其中每个服务的作用

namenode是hdfs的中心服务，存储着datanode的元数据信息，namenode存储着真实数据块，namenode与datanode之间有通信机制，每隔3s会检测一次心跳，检测datanode节点是否挂掉。secondarynamenode主要是用来合并namenode中的编辑日志和元数据文件，并且每进行一次合并自己也会保存一份元数据文件。

四、HDFS中如何实现元数据的维护？

namenode的元数据维护是通过fsimage文件+edit编辑日志文件进行维护,当达到一定条件SecondaryNamenode会让namenode停止对edit日志文件的编辑，系统默认设置的条件为每小时，或 *** 作达到100w次时，namenode停止对edit日志文件的编辑并同时生成新的edit日志文件，SecondaryNamedode会将namenode上的fsimage文件和旧edit文件进行合并生成新的fsimage文件，并自己备份一份到secondaryNamenode节点。

五、描述一下NN和DN的关系，以及DN的工作流程

NN和DN是一对多的关系，NN用于维护元数据信息，同时会有多个DataNode用于存储真实的数据块，当HDFS启动时会进入安全模式，此时只能对数据进行读 *** 作，而无法进行任何写 *** 作，此时集群的每一台datanode节点都会向namenode节点进行注册，注册成功后DataNode会上报自己的数据块详细信息，当百分之99的数据块汇报满足最小副本条件后，安全模式自动退出此后datanode和namenode每3秒会进行一次通信，如果namenode检测到datanode没有响应，会一直检测直到10分30秒后还没有检测到才会确定当前datanode不可用