HDFS

HDFS HDFS：Hadoop Distributed File System（Hadoop分布式文件系统） 原理

HDFS采用了主从（Master/Slave）结构模型：
一个HDFS集群是由一个NameNode和若干个DataNode组成的。
其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问 *** 作；
集群中的DataNode管理存储的数据。

一个假定就是迁移计算到离数据更近的位置比将数据移动到程序运行更近的位置要更好。HDFS提供了接口，来让程序将自己移动到离数据存储更近的位置。

内部机制是将一个文件分割成一个或多个块，这些块被存储在一组数据节点中。名字节点用来 *** 作文件命名空间的文件或目录 *** 作，如打开，关闭，重命名等等。它同时确定块与数据节点的映射。数据节点负责来自文件系统客户的读写请求。数据节点同时还要执行块的创建，删除，和来自名字节点的块复制指令。

名字节点周期性地接受集群中数据节点的心跳和块报告。一个心跳的到达表示这个数据节点是正常的。一个块报告包括该数据节点上所有块的列表。

数据节点将HDFS数据存储到本地的文件系统中。数据节点并不知道HDFS文件的存在，它在本地文件系统中以单独的文件存储每一个HDFS文件的数据块。数据节点不会将所有的数据块文件存放到同一个目录中，而是启发式的检测每一个目录的最优文件数，并在适当的时候创建子目录。在本地同一个目录下创建所有的数据块文件不是最优的，因为本地文件系统可能不支持单个目录下巨额文件的高效 *** 作。当数据节点启动的时候，它将扫描它的本地文件系统，根据本地的文件产生一个所有HDFS数据块的列表并报告给名字节点，这个报告称作块报告。

默认的HDFS block放置策略在最小化写开销和最大化数据可靠性、可用性以及总体读取带宽之间进行了一些折中。一般情况下复制因子为3，HDFS的副本放置策略是将第一个副本放在本地节点，将第二个副本放到本地机架上的另外一个节点而将第三个副本放到不同机架上的节点。这种方式减少了机架间的写流量，从而提高了写的性能。机架故障的几率远小于节点故障。这种方式并不影响数据可靠性和可用性的限制，并且它确实减少了读 *** 作的网络聚合带宽，因为文件块仅存在两个不同的机架， 而不是三个。文件的副本不是均匀地分布在机架当中，1/3在同一个节点上，1/3副本在同一个机架上，另外1/3均匀地分布在其他机架上。这种方式提高了写的性能，并且不影响数据的可靠性和读性能。

重新复制
一个数据节点周期性发送一个心跳包到名字节点。
网络断开会造成一组数据节点子集和名字节点失去联系。
名字节点根据缺失的心跳信息判断故障情况。
名字节点将这些数据节点标记为死亡状态，不再将新的IO请求转发到这些数据节点上，
这些数据节点上的数据将对HDFS不再可用，可能会导致一些块的复制因子降低到指定的值。

文件内容读取的代码可以分为三个大步骤
1、获取文件系统
1.1、读取配置文件。
1.2、获取文件系统。

2、通过文件系统打开文件

3、将文件内容输出