hdfs的切分策略

hdfs的切分策略

目录

一：分布式存储切分机制

二：怎么识别切分后哪几个block块是一起的

三：切分后存储位置

四：数据放到hdfs时会进行block切分 无论大小

五：切分块信息的存储

---

一：分布式存储切分机制

1：128M切分条件

2：溢出机制 10% （128+128*10%）

防止浪费资源 避免小文件过多

例如：132 大于128但是没有大于140所以不会切分

145 大于128 且大于140 所以切分 两个块 一个是128 一个是17

二：怎么识别切分后哪几个block块是一起的

id是block连接的标识（保存在namenode中）

三：切分后存储位置

切分后存储在哪个节点是不固定的。根据每个节点所存储的文件和资源来存储

存储位置随机，当节点资源足够时根据资源谁资源大存储在谁那里

四：数据放到hdfs时会进行block切分 无论大小

block切分过程是默认的

切分时会产生切分信息 切分块数

master是用来保存切分信息 node1和node2来存储数据

在元数据上修改不会影响数据不会改变 hdfs上的数据不能直接修改

五：切分块信息的存储

namenode是主节点 元数据信息

datanode是存储block块存储数据 数据节点

元数据：针对与hdfs的 *** 作

hdfs的目录结构在内存中

管理hdfs的目录在内存中

hdfs的服务关了，内存中的数据会丢失，为了避免数据丢失会把内存中的数据保存在磁盘中