1下载hadoop的安装包,这里使用的是"hadoop-264targz":
2将安装包直接解压到D盘根目录:
3配置环境变量:
4下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下:
5打开Eclipse,选择菜单"Window"-->"Preferences",在左侧找到"Hadoop Map/Reduce",
在右侧选择hadoop的目录:
6打开菜单"Window"中的"Show View"窗口,选择"Map/Reduce Locations":
7:在打开的"Map/Reduce Locations"面板中,点击小象图标,打开新建配置窗口:
8填写hadoop集群的主机地址和端口:
9新创建的hadoop集群连接配置,右上角的齿轮可以修改配置信息:
10打开菜单"Window"中的"Show View"窗口,找到"Project Explorer":
11在"Project Explorer"面板中找到"DFS Locations",展开下面的菜单就可以连接上HDFS,
可以直接看到HDFS中的目录和文件:
12在"Project Explorer"面板中点击鼠标右键,选择新建,就可以创建"Map/Reduce"项目了:
13下面我们创建了一个名为"hadoop-test"的项目,可以看到它自动帮我们导入了很多的jar包:
14在项目的src下面创建log4jproperties文件,内容如下:
log4jrootLogger=debug,stdout,R
log4jappenderstdout=orgapachelog4jConsoleAppender
log4jappenderstdoutlayout=orgapachelog4jPatternLayout
log4jappenderstdoutlayoutConversionPattern=%5p - %m%n
log4jappenderR=orgapachelog4jRollingFileAppender
log4jappenderRFile=mapreduce_testlog
楼主你好,下面这篇博客介绍了在Hadoop上编写MapReduce程序的基本方法,包括MapReduce程序的构成,不同语言开发MapReduce的方法等。
因为涉及了很多代码,直接看原文会比较方便。
>
以上就是关于如何在Windows下面运行hadoop的MapReduce程序全部的内容,包括:如何在Windows下面运行hadoop的MapReduce程序、如何在Hadoop上编写MapReduce程序、等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)