如何使用eclipse编写mapreduce程序

使用eclipse编写mapreduce程序的步骤：

一.安装hadoop for eclipse的插件，注意：插件版本要和hadoop版本一致。

下载：hadoop-eclipse-plugin-2.5.2.jar

http://download.csdn.net/detail/tondayong1981/8186269

将hadoop-eclipse-plugin-2.5.2.jar文件放到ECLIPSE_HOME/plugins下，重启eclipse

二.在eclipse中新建hadoop项目

File>New>other>Map/Reduce Project>next>输入项目名>finish

点击右上角Map/Reduce视图

现在能看见Map/Reduce Locations了，点击右侧的紫色大象。

因为我们是yarn的环境 所以不需要配置Map/Reduce(V2) Master 项

DFS Master中的IP和端口 就是我们hadoop/etc/hadoop/core-site.xml中fs.defaultFS的值

现在我们就能看见远程hadoop的HDFS了

三.在eclipce中运行Map/Reduce，以hadoop自带的wordcount为例

首先下载hadoop的源码：

http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/

在hadoop-2.5.2-src ▸ hadoop-mapreduce-project ▸ hadoop-mapreduce-examples ▸ src ▸ main ▸ java ▸ org ▸ apache ▸ hadoop ▸ examples目录中找到WordCount.java

将WordCount.java复制到刚才建的myhadoop项目的src下

创建数据源文件word.txt

在HDFS上创建输入目录，再将word.txt传到HDFS上

$hadoop fs -mkdir /tmp/input

$hadoop fs -copyFromLocal /home/hadoop/word.txt /tmp/input/word.txt

回到eclipse 刷新DFS将看到

运行WordCount.java

(1).在新建的项目Hadoop，点击WordCount.java，右键-->Run As-->Run Configurations

(2).在d出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为WordCount

(3).配置运行参数，点Arguments，在Program arguments中输入你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹，如：

hdfs://10.6.9.226:9000/tmp/input/word.txt hdfs://10.6.9.226:9000/tmp/output

点击Run,等运行结束刷新DFS Locations将会看到output文件夹

1.找到examples例子

我们需要找打这个例子的位置：首先需要找到你的hadoop文件夹，然后依照下面路径：

/hadoop/share/hadoop/mapreduce会看到如下图：

hadoop-mapreduce-examples-2.2.0.jar

第二步：

我们需要需要做一下运行需要的工作，比如输入输出路径，上传什么文件等。

1.先在HDFS创建几个数据目录：

hadoop fs -mkdir -p /data/wordcount

hadoop fs -mkdir -p /output/

2.目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，运行这个MapReduce任务的结果输出到/output/wordcount目录中。

首先新建文件inputWord：

vi /usr/inputWord

新建完毕，查看内容：

cat /usr/inputWord

将本地文件上传到HDFS中：

hadoop fs -put /usr/inputWord /data/wordcount/

可以查看上传后的文件情况，执行如下命令：

hadoop fs -ls /data/wordcount

可以看到上传到HDFS中的文件。

通过命令

hadoop fs -text /data/wordcount/inputWord

看到如下内容：

下面，运行WordCount例子，执行如下命令：

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount

可以看到控制台输出程序运行的信息

查看结果，执行如下命令：

hadoop fs -text /output/wordcount/part-r-00000

结果数据示例如下：

登录到Web控制台，访问链接http.//master:8088/可以看到任务记录情况。

---