调用MapReduce对文件中各个单词出现的次数进行统计

调用MapReduce对文件中各个单词出现的次数进行统计

需求描述

Hadoop综合大作业 要求：

1.将待分析的文件（不少于10000英文单词）上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

二、环境介绍

安装Ubuntu：

 

安装JAVA环境：

 

安装hadoop：

 

三、数据来源及数据上传

准备一个待分析的10000字的英文单词文件，命名为lisen.txt；直接拖拽进虚拟机当中。

    

 

四、数据上传结果查看

启动hadoop，将lisen.txt上传至HDFS；查看HDFS input文件，看看是否存在lisen.txt

 

五、数据处理过程的描述

在Eclipse中创建MapReduce项目；程序运行结束后，会在底部的”Console”面板中显示运行结果信息。

 

 

把JAVA应用程序打包生成JAR包，部署到Hadoop平台上运行。把词频统计程序放在”usr/local/hadoop/myapp”目录下。

  

六、处理结果的下载及命令行展示

使用Hadoop jar命令运行程序，查看output文件夹是否有运行成功后生成的文件以及查看运行后生成的output/part-r-00000这个文件。

  

将output文件下载至本地：

 

查看文件：

 

 

Part-r-00000文件：

 

参考文献

[1]陆嘉恒.Hadoop 实战.第 2 版.北京:机械工业出版社,2012.

[2]王鹏.云计算的关键技术与应用实例.北京:人民邮电出版社,2010.

[3]刘鹏,黄宜华,陈卫卫.实战 Hadoop.北京:电子工业版社.2011.

[4]项亮.推荐系统实践.北京:人民邮电出版社,2012.

[5]胡铮.物联网.北京:科学出版社，2010.