HDFS上传流程

HDFS上传流程

客户端发送上传请求
谁接受?
namenode

接受完之后干嘛?
查看文件是否存在,父目录是否存在

检查完之后干嘛?
namenode向客户端发送是否可以上传可以

上传之后,我们应该干嘛?
检查块(数据)是否是128M的1.1倍

大于128M的1.1倍怎么办?
进行切片(按照128M进行切片)

小于128M的1.1倍怎么办?
不进行切片,按照原数据进行上传数据知道了

客户端问namenode把块(数据)存放到哪?
namenode根据副本存储策略(就近原则)找到三个datanode节点

找到节点之后,我们干嘛?
第一个datanode 简称d1
第二个datanode 简称d2
第三个datanode 简称d3
d1向d2向d3依次建立通信

建立完通信之后,要干嘛?
返回d3,d2,d1的信息(依次)

得到信息,我们需要干什么?
客户端开始上传第一个块(数据)先上传到d1,d1向d2传输,d2向d3传输

传输的时候,我们直接写入到磁盘吗?
只有在我们第一个块(数据)完全传输完(先放到代写队列),才会进行写入到磁盘.

第一个块,上传完,该干嘛?
上传第二块