相对目录转到/user/hdfs ,那么新创建的用户文件夹bigdata***就在/user/ hdfs 目录之下。
2. 在Hdfs中创建wordfile1.txt 和wordfile2.txt文件 方法一:新建input文件夹,传到hdfs后,使用vim命令创建编辑txt文件(1)在服务器上新建一个input文件夹
mkdir input
(2)把input 上传到先前我们准备的bigdata***文件夹
hadoop fs -put input bigdata43
(3)使用vim 命令创建并写入wordfile1.txt 和wordfile2.txt,由于wordfile1.txt 和wordfile2.txt 起先并不存在,所以vim 命令会先创建一个缓存文件来进行编辑,键入完文本内容后,按esc,再输入:wq ,保存退出即可。
方法二:新建input文件夹,在其中新建txt文件后,将input文件夹直接上传到hdfs(1)本地新建一个input文件夹,使用Xftp将文件夹传输到服务器
(2)把input 上传到先前我们准备的bigdata***文件夹
hadoop fs -put input bigdata43二、开始实验 1. 运行Hadoop 中自带的词频统计程序,进行词频统计
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-3.0.0-cdh6.2.0.jar wordcount bigdata43/input bigdata43/output/output1
或者
yarn jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-3.0.0-cdh6.2.0.jar wordcount bigdata43/input bigdata43/output/output1出现以下图片即运行成功
注意:
2. 查看输出文件名称:hadoop fs -ls /output/output1/*3. 查看统计结果:
hadoop fs -ls /output/output1/*三、运行成功,退出程序
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)