HDFS知识点介绍

HDFS知识点介绍 概要

Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，旨在在商用硬件上运行。它与现有的分布式文件系统有很多相似之处。但是，与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，适用于具有大量数据集的应用程序。HDFS 放宽了一些 POSIX(可移植 *** 作系统接口)标准的 要求，以启用对文件系统数据的流式访问。HDFS 最初是作为 Apache Nutch （开源Java 实现的搜索引擎）网络搜索引擎项目的基础设施而构建的。HDFS 是 Apache Hadoop 核心项目的一部分。

组成

在hadoop2.x中，Hadoop由3个组件组成，分别为NameNode、SecondaryNameNode和DataNode。而在hadoop3.x中，不存在SecondaryNameNode，直接由NamenNode和DataNode组成。至于SecondaryNode，则采用NameNode高可用方案来代替，使用HA配置多个（两个或者更多）NameNode。这在NameNode损坏时可以直接自动切换至新的NameNode,不再需要手动的处理fsimage文件而重新启动NameNode。

HDFS读流程

1、客户端调用FileSyetem.open(文件路径)方法，与NameNode进行RPC通信，返回该文件的 部分或者全部块列表，返回FSDataInputStream对象。
2、客户端调用FSDataInputStream的read方法
a)与第一个块最近的DataNode进行读取，读取完后会检查，如果成功，则关闭与当前的datanode通信。如果失败，则会记录失败的块+datanode信息，下次不会再次读取；那么会去第二个datanode地址读取。
b)与第二个块对应的datanode通信，读完后会检查，成功后关闭通信，如果失败则去第三个块读取。
c)假如所有的块信息列表读取完了，文件还未全部读取结束，则会与namenode进行通信，获取下一批块列表信息继续读取。
3、客户端调用FSDataInputStream.close方法，关闭输入流。

HDFS写流程

1、客户端调用FileSystem的create方法，去与NameNode通信，检查该路径的文件是否存在、是否有权限创建文件。如果条件成立，则创建新文件，但是不关联任何的块，返回一个FSDataOutputStream对象；否则返回错误信息。
2、客户端调用FSDataOutputSteam的write方法，会将第一个块写入第一个datanode，第一个datanode写完后传给第二个datanode，第二个datanode写完，传给第三个datanode。当第三个datanode写完后返回状态给第二个datanode，第二个datanode写完返回状态第一个datanode，第一个节点返回状态给FSDataOutputStream对象，则标志第一个块写完，副本数为3，剩下的块重复此步骤。
3、当文件写入数据完成后，客户端调用FSDataOutputSteam的close方法，关闭输出流，flush缓冲区的数据包。
4、调用FileSystem的complete方法，通知NameNode写入成功。