HDFS性能测试

HDFS性能测试

HDFS性能测试

• 一、写数据性能测试
• 二、读数据性能测试
• 三、清除数据

Hadoop集群提供一套测试读写HDFS的jar包，jar包在$HADOOP_HOME/share/hadoop/mapreduce目录下，名字为：hadoop-mapreduce-client-jobclient-2.8.5-tests.jar，后面2.8.5为Hadoop的版本号，我们分别来测试其读写，然后再把数据清除

一、写数据性能测试

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

其中，TestDFSIO为写入的文件夹的名称，如果没有加路径，则会自动加上一个绝对路径，我们Hadoop集群上默认的是：/benchmarks/，所以最后写入的文件在/benchmarks/TestDFSIO文件夹下，nrFiles后面为写入的文件个数，fileSize为写入每个文件的大小，运行一遍后，发现该目录下以及写入文件了，然后再运行的控制台有打印运行的一些信息。如下图

Number of files：写入文件数

Throughput：吞吐率 这里为93.77MB/s

Average IO rate：平均吞吐率 这里速率98.36MB/s

二、读数据性能测试

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

运行结果为：

参数和读数据的一样

三、清除数据

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5-tests.jar TestDFSIO -clean