hadoop HDFS有提供查看空间总大小以及剩余空间大小的接口吗？

是能查看的：

看src/webapps/hdfs/dfshealth.jsp，对应50070查看到的那个页面，里面搜就有了

例如： Configured Capacity对应:

org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getCapacityTotal()

剩下的自己用同样的方法找一下就都有了

能查看的，各节点的都可以，查一下命令就能看

web或者命令都行，命令： hadoop dfsadmin -report

[root@chinadaas01 ~]# hadoop fs -count  /hbase1/zzjg_detail

文件夹数 文件数  这个目录下的文件bytes

查看文件夹下 各个目录的总大小：hdfs dfs -du -h /user/hive/warehouse/ste_qyjs.db/

能看到这个库下所有表的总大小 并以G 或者K 显示

直接看第三个命令：[bigdata@task1-sandbox tfb]$ hadoop fs  -du -s -h /user/hive/warehouse/dev_treasury.db1.1 T  3.3 T /user/hive/warehouse/dev_treasury.db

经过一段时间的使用发现原本存入HDFS的数据量不是很大，但是50多个T的存储空间缺被占满了，

解决：

hadoop fs -du -h /

使用该命令查看HDFS中文件占用的大小，发现/tmp目录占用较大

因为对控制文件的分片数目，进而控制文件的map个数非常感兴趣，因此有查找如下资料的需求。下面来看看我总结的吧：）

当向HDFS上写文件时，可以通过设置dfs.blocksize配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size，比如想知道该该文件作为job的输入会创建几个map等。Hadoop FS Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用格式是：

{HADOOP_HOME}/bin/hadoop fs –stat [format]

其中可选的format被官方文档遗漏了。下面列出了format的形式：

%b：打印文件大小（目录为0）

%n：打印文件名

%o：打印block size （我们要的值）

%r：打印备份数

%y：打印UTC日期 yyyy-MM-dd HH:mm:ss

%Y：打印自1970年1月1日以来的UTC微秒数

%F：目录打印directory, 文件打印regular file

当使用-stat选项但不指定format时候，只打印文件创建日期，相当于%y：

[hadoop@cMaster hadoop-2.5.2]$ bin/hadoop fs -stat /filein/file_128M.txt15/03/18 09:47:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2015-01-06 01:43:23

下面的例子打印文件的block size和备份个数：

[hadoop@cMaster hadoop-2.5.2]$ bin/hadoop fs -stat "%o %r" /filein/file_1024M.txt

15/03/18 09:48:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

134217728 1

可以看到/filein/file_1024M.txt文件的blocksize大小为128M，有一份。

---