如何在Windows下面运行hadoop的MapReduce程序

如何在Windows下面运行hadoop的MapReduce程序,第1张

1下载hadoop的安装包,这里使用的是"hadoop-264targz":

2将安装包直接解压到D盘根目录:

3配置环境变量:

4下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下:

5打开Eclipse,选择菜单"Window"-->"Preferences",在左侧找到"Hadoop Map/Reduce",

在右侧选择hadoop的目录:

6打开菜单"Window"中的"Show View"窗口,选择"Map/Reduce Locations":

7:在打开的"Map/Reduce Locations"面板中,点击小象图标,打开新建配置窗口:

8填写hadoop集群的主机地址和端口:

9新创建的hadoop集群连接配置,右上角的齿轮可以修改配置信息:

10打开菜单"Window"中的"Show View"窗口,找到"Project Explorer":

11在"Project Explorer"面板中找到"DFS Locations",展开下面的菜单就可以连接上HDFS,

可以直接看到HDFS中的目录和文件:

12在"Project Explorer"面板中点击鼠标右键,选择新建,就可以创建"Map/Reduce"项目了:

13下面我们创建了一个名为"hadoop-test"的项目,可以看到它自动帮我们导入了很多的jar包:

14在项目的src下面创建log4jproperties文件,内容如下:

log4jrootLogger=debug,stdout,R

log4jappenderstdout=orgapachelog4jConsoleAppender

log4jappenderstdoutlayout=orgapachelog4jPatternLayout

log4jappenderstdoutlayoutConversionPattern=%5p - %m%n

log4jappenderR=orgapachelog4jRollingFileAppender

log4jappenderRFile=mapreduce_testlog

楼主你好,下面这篇博客介绍了在Hadoop上编写MapReduce程序的基本方法,包括MapReduce程序的构成,不同语言开发MapReduce的方法等。

因为涉及了很多代码,直接看原文会比较方便。

>

以上就是关于如何在Windows下面运行hadoop的MapReduce程序全部的内容,包括:如何在Windows下面运行hadoop的MapReduce程序、如何在Hadoop上编写MapReduce程序、等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zz/10127461.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-05
下一篇 2023-05-05

发表评论

登录后才能评论

评论列表(0条)

保存