Hadoop中Block和Split的区别

Hadoop中Block和Split的区别

1.split

文件不可分割，一个文件一个split。通常一个split就是一个block,split size是允许用户自定义的，有多少个split，就有多少个mapper。

2.HDFS的block

block的划分是物理划分，每块的大小可以通过hadoop进行设置，是实际的文件大小，而非一个块的大小。Block 非常适合用于数据备份，进而提供数据容错能力和可用性。分布式文件系统中数据块一般远大于磁盘数据块的大小，并且为磁盘块大小的整数倍。