HDFS理解

HDFS理解 hdfs：分布式文件系统

hdfs跟普通的单机文件系统有区别：
1、单机文件系统中存放的文件，是在一台机器的 *** 作系统中
2、hdfs的文件系统会横跨N多的机器
3、单机文件系统中存放的文件，是在一台机器的磁盘上
4、hdfs文件系统中存放的文件，是落在n多机器的本地单机文件系统中（hdfs是一个基于linux本地文件系统之上的文件系统）

hdfs的工作机制：
1、客户把一个文件存入hdfs，其实hdfs会把这个文件切块后，分散存储在N台linux机器系统中（负责存储文件块的角色：data node）<准确来说：切块的行为是由客户端决定的>
2、一旦文件被切块存储，那么，hdfs中就必须有一个机制，来记录用户的每一个文件的切块信息，及每一块的具体存储机器（负责记录块信息的角色是：name node）
3、为了保证数据的安全性，hdfs可以将每一个文件块在集群中存放多个副本（到底存几个副本，是由当时存入该文件的客户端指定的）
**综述：**一个hdfs系统，由一台运行了namenode的服务器，和N台运行了datanode的服务器组成！

hdfs命令行客户端的常用 *** 作命令
0、查看hdfs中的目录信息
hadoop fs -ls /hdfs路径

1、上传文件到hdfs中
hadoop fs -put /本地文件 /aaa
hadoop fs -copyFromLocal /本地文件 /hdfs路径 ## copyFromLocal等价于 put

hadoop fs -moveFromLocal /本地文件 /hdfs路径 ## 跟copyFromLocal的区别是：从本地移动到hdfs中

2、下载文件到客户端本地磁盘
hadoop fs -get /hdfs中的路径 /本地磁盘目录
hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径 ## 跟get等价
hadoop fs -moveToLocal /hdfs路径 /本地路径 ## 从hdfs中移动到本地

3、在hdfs中创建文件夹
hadoop fs -mkdir -p /aaa/xxx

4、移动hdfs中的文件（更名）
hadoop fs -mv /hdfs的路径 /hdfs的另一个路径

5、删除hdfs中的文件或文件夹
hadoop fs -rm -r /aaa

6、修改文件的权限
hadoop fs -chown user:group /aaa
hadoop fs -chmod 700 /aaa

7、追加内容到已存在的文件
hadoop fs -appendToFile /本地文件 /hdfs中的文件

8、显示文本文件的内容
hadoop fs -cat /hdfs中的文件
hadoop fs -tail /hdfs中的文件

checkpoint *** 作
namenode会把引起元数据变化的客户端 *** 作记录在edits日志文件中；secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志，然后加载fsimage镜像到内存中，然后顺序解析edits文件，对内存中的元数据对象进行修改（整合）整合完成后，将内存元数据序列化成一个新的fsimage，并将这个fsimage镜像文件上传给namenode

提示：secondary namenode每次做checkpoint *** 作时，都需要从namenode上下载上次的fsimage镜像文件吗？
第一次checkpoint需要下载，以后就不用下载了，因为自己的机器上就已经有了