HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用NameNode的内存空间,另一方面就是索引文件过大使得索引速度变慢。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个1MB的文件设置为128MB的块存储,实际使用是1MB的磁盘空间,而不是128M,但他的索引在NameNode中占用的内存是150byte。
小文件的优化无非以下几种方式:
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)