HDFS集群管理与运维+distcp工具的使用

HDFS集群管理与运维+distcp工具的使用 HDFS集群管理与运维 1. HDFS数据迁移解决方案

数据迁移指的是一种大规模量级的数据转移，转移的过程中往往会跨机房、跨集群 ，数据迁移规模的不同会导致整个数据迁移的周期也不尽相同 。 在HDFS中，同样有许多需要数据迁移的场景，比如冷热数据集群之间的数据转化， 或者HDFS数据的双机房备份等等 。因为涉及跨机房 、跨集群，所以数据迁移不会是一个简单的 *** 作。

1.1 数据迁移使用场景

• 冷热集群数据同步、分类存储

• 集群数据整体搬迁

当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等；

• 数据的准实时同步

数据准实时同步的目的在于数据的双备份可用,比如某天A集群突然宣告不允许再使用了,此时可以将线上使用集群直接切向B的同步集群,因为B集群实时同步A集群数据,拥有完全一致的真实数据和元数据信息,所以对于业务方使用而言是不会受到任何影响的。

1.2 数据迁移要素考量

• **Bandwidth-**带宽

  带宽用的多了,会影响到线上业务的任务运行,带宽用的少了又会导致数据同步过慢的问题。

• **Performance-**性能

  是采用简单的单机程序?还是多线程的性能更佳的分布式程序?

• **Data-Increment-**增量同步

  当TB,PB级别的数据需要同步的时候,如果每次以全量的方式去同步数据,结果一定是非常糟糕。如果仅针对变化的增量数据进行同步将会是不错的选择。可以配合HDFS快照等技术实现增量数据同步。

• **Syncable-**数据迁移的同步性

  数据迁移的过程中需要保证周期内数据是一定能够同步完的,不能差距太大.比如A集群7天内的增量数据,我只要花半天就可以完全同步到B集群,然后我又可以等到下周再次进行同步.最可怕的事情在于A集群的7天内的数据,我的程序花了7天还同步不完,然后下一个周期又来了,这样就无法做到准实时的一致性.其实7天还是一个比较大的时间,最好是能达到按天同步.

1.3 HDFS分布式拷贝工具：DistCp 1.3.1 DistCp介绍

DistCp是Apache Hadoop中的一种流行工具，在hadoop-tools工程下，作为独立子工程存在。其定位就是用于数据迁移的，定期在集群之间和集群内部备份数据。（在备份过程中，每次运行DistCp都称为一个备份周期。）尽管性能相对较慢，但它的普及程度已经越来越高。

DistCp底层使用MapReduce在群集之间或并行在同一群集内复制文件。执行复制的MapReduce只有mapper阶段。它涉及两个步骤：

• 构建要复制的文件列表（称为复制列表）

• 运行MapReduce作业以复制文件，并以复制列表为输入。

1.3.2 DistCp优势特性

• 带宽限流

  ​ DistCp可以通过命令参数 bandwidth 来为程序进行带宽限流。

• 增量数据同步

  在DistCp中可以通过update 、append 和diff 这3个参数实现增量同步。

Update只拷贝不存在的文件或者目录 。Append追加写目标路径下己存在的文件。Diff通过快照的diff对比信息来同步源端路径与目标路径。

Update解决了新增文件、目录的同步。Append解决己存在文件的增量更新同步。 Diff解决删除或重命名类型文件的同步。

• 高效的性能：分布式特性

DistCp底层使用MapReduce执行数据同步，MapReduce本身是一类分布式程序。

1.3.3 DistCp命令

$ hadoop distcp
usage: distcp OPTIONS [source_path...] 
             
 -append                   //拷贝文件时支持对现有文件进行追加写 *** 作
 -async                	//异步执行distcp拷贝任务
 -bandwidth       	//对每个Map任务的带宽限速
 -delete               	//删除相对于源端,目标端多出来的文件
 -diff            	//通过快照diff信息进行数据的同步                  
 -overwrite            	//以覆盖的方式进行拷贝，如果目标端文件已经存在，则直接覆盖
 -p               	//拷贝数据时,扩展属性信息的保留，包括权限信息、块大小信息等等
 -skipcrccheck             //拷贝数据时是否跳过cheacksum的校验
 -update               	//拷贝数据时,只拷贝相对于源端 ，目标端不存在的文件数据

其中 source_path 、target_path 需要带上地址前缀以区分不同的集群：

例如 ：hadoop distcp hdfs://nnl:8020/foo/a hdfs://nn2:8020/bar/foo

上面的命令表示从nnl集群拷贝／foo/a 路径下的数据到nn2集群的／bar/foo 路径下。

dfs://nnl:8020/foo/a hdfs://nn2:8020/bar/foo

上面的命令表示从nnl集群拷贝／foo/a 路径下的数据到nn2集群的／bar/foo 路径下。