Hadoop调用MapReduce实现对文件中各个单词出现的次数进行统计

Hadoop调用MapReduce实现对文件中各个单词出现的次数进行统计

一、需求描述

1.将待分析的文件（不少于10000英文单词）上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

二、环境介绍

安装Ubuntu系统

配置Java环境，安装JDK 

安装hadoop

三、数据来源及数据上传

    准备一个待分析的 10000 字英文单词文件，命名为lwj.txt。开启虚拟机双向拖放，将lwj.txt 文件拖拽到 hadoop 中：

查看文件是否已经传进/home/hadoop 文件夹下：

 

四、数据上传结果查看

启动hadoop

 将lwj.txt文件上传至 HDFS：

查看 HDFS input 文件

• 数据处理过程的描述

打开 eclipse，在 Eclipse中创建MapReduce项目，为项目添加需要用到的 JAR 包。编写WordCount程序，输入完整的词频统计程序代码并运行。

把 Java 应用程序打包生成 JAR包，部署到Hadoop平台上运行。

启动新终端，在“/usr/local/hadoop”目录下创建myapp目录，并把词频统计程序放在此目录下。

六、处理结果的下载及命令行展示

使用hadoop  jar 命令运行程序

查看 output 文件夹是否有运行成功后生成的文件

查看运行后生成的 output/part-r-00000 这个文件

将 output 文件夹下载至本地

查看 part-r-00000 文件

参考文献

[1]陆嘉恒.Hadoop 实战.第 2 版.北京:机械工业出版社,2012.

[2]王鹏.云计算的关键技术与应用实例.北京:人民邮电出版社,2010.

[3]刘鹏,黄宜华,陈卫卫.实战 Hadoop.北京:电子工业版社.2011.