一个hadoop计数的程序可以在任何系统中使用吗,我不使用start-all 开启5个进程,程序也可以出结果。

一个hadoop计数的程序可以在任何系统中使用吗,我不使用start-all 开启5个进程,程序也可以出结果。,第1张

用心去体会!!!

如果你的意思是如何才能体现出hdfs的强大,那么你只能通过读写大量的文件才能有感觉,不过不用想也能知道当文件大小非常大时,传统的存储方式都会遇到上限的限制,无法无限制扩展,而hdfs不会,hdfs可以在一定程度内随意扩展集群容量,达到存储目标

1.下载hadoop的安装包,这里使用的是"hadoop-2.6.4.tar.gz":

2.将安装包直接解压到D盘根目录:

3.配置环境变量:

4.下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下:

5.打开Eclipse,选择菜单"Window"-->"Preferences",在左侧找到"Hadoop Map/Reduce",

  在右侧选择hadoop的目录:

6.打开菜单"Window"中的"Show View"窗口,选择"Map/Reduce Locations":

7:在打开的"Map/Reduce Locations"面板中,点击小象图标,打开新建配置窗口:

8.填写hadoop集群的主机地址和端口:

9.新创建的hadoop集群连接配置,右上角的齿轮可以修改配置信息:

10.打开菜单"Window"中的"Show View"窗口,找到"Project Explorer":

11.在"Project Explorer"面板中找到"DFS Locations",展开下面的菜单就可以连接上HDFS,

可以直接看到HDFS中的目录和文件:

12.在"Project Explorer"面板中点击鼠标右键,选择新建,就可以创建"Map/Reduce"项目了:

13.下面我们创建了一个名为"hadoop-test"的项目,可以看到它自动帮我们导入了很多的jar包:

14.在项目的src下面创建log4j.properties文件,内容如下:

log4j.rootLogger=debug,stdout,R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender

log4j.appender.R.File=mapreduce_test.log


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/11587824.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-17
下一篇 2023-05-17

发表评论

登录后才能评论

评论列表(0条)

保存