hadoop常用shell命令怎么用

1、hadoop的fs命令

#查看hadoop所有的fs命令

1

hadoop fs

#上传文件（put与copyFromLocal都是上传命令）

1

2

hadoop fs -put jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk

hadoop fs -copyFromLocal jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk

#下载命令(get与copyToLocal都是下载命令)

1

2

hadoop fs -get hdfs://hucc01:9000/jdk jdk1.7

hadoop fs -copyToLocal hdfs://hucc01:9000/jdk jdk1.7

#将本地一个或者多个文件追加到hdfs文件中（appendToFile）

1

hadoop fs -appendToFile install.log /words

#查询hdfs的所有文件（ls）

1

hadoop fs -ls /

#帮助命令（help）

1

hadoop fs -help fs

#查看hdfs文件的内容（cat和text）

1

2

hadoop fs -cat /words

hadoop fs -text /words

#删除hdfs文件(rm)

1

hadoop fs -rm -r /words

#统计hdfs文件和文件夹的数量（count）

1

hadoop fs -count -r /

#合并hdfs某个文件夹的文件，并且下载到本地（getmerge）

1

hadoop fs -getmerge / merge

#将本地文件剪切到hdfs，相当于对本地文件上传后再删除（moveFormLocal）

1

hadoop fs -moveFromLocal words /

#查看当前文件系统的使用状态（df）

1

hadoop fs -df

二、常用的hdfs命令（这个用的比较多）

用法跟hadoop命令一样，推荐2.0之后使用hdfs命令

1

hdfs dfs

HDFSShell的具体命令具有使用面最广的优势，因此HDFSShell可以 *** 作任何文件系统，也就意味着它可以在非集群节点上运行。

HDFSShell本地与集群的运行 *** 作包括集群内文件的复制和剪切，将本地的文件上传到集群或者将集群的文件下载到本地，将本地的文件追加到集群等等。