Hadoop学习5-2：HDFS小文件存档

Hadoop学习5-2：HDFS小文件存档

• • 1 概述
  • 2 创建归档文件
  • 3 查看归档文件
  • 4 解归档文件

1 概述

1. HDFS存储小文件弊端
   每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存

注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB

2. 解决存储小文件办法之一
   HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存
   

2 创建归档文件

在启动yarn的前提下进行一下实例 *** 作

把/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/output 路径下，在NameNode所在服务器执行以下命令

hadoop archive -archiveName 指定归档文件的文件名 -p 需要归档的目录 归档文件的输出目录

hadoop archive -archiveName input.har -p /input /output

-p表示递归归档

输出的目录可以不存在，如果不存在会自动创建

3 查看归档文件

使用har协议方式，注意是///。具体看个人打包结果替换一下文件

hadoop fs -ls har:///output/input.har

4 解归档文件

解析后可以得到被归档的文件，注意/input.har/*下的*。具体看个人打包结果替换一下文件

hadoop fs -cp har:///output/input.har/*  /wcinput