如果你的意思是如何才能体现出hdfs的强大,那么你只能通过读写大量的文件才能有感觉,不过不用想也能知道当文件大小非常大时,传统的存储方式都会遇到上限的限制,无法无限制扩展,而hdfs不会,hdfs可以在一定程度内随意扩展集群容量,达到存储目标
1.下载hadoop的安装包,这里使用的是"hadoop-2.6.4.tar.gz":2.将安装包直接解压到D盘根目录:
3.配置环境变量:
4.下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下:
5.打开Eclipse,选择菜单"Window"-->"Preferences",在左侧找到"Hadoop Map/Reduce",
在右侧选择hadoop的目录:
6.打开菜单"Window"中的"Show View"窗口,选择"Map/Reduce Locations":
7:在打开的"Map/Reduce Locations"面板中,点击小象图标,打开新建配置窗口:
8.填写hadoop集群的主机地址和端口:
9.新创建的hadoop集群连接配置,右上角的齿轮可以修改配置信息:
10.打开菜单"Window"中的"Show View"窗口,找到"Project Explorer":
11.在"Project Explorer"面板中找到"DFS Locations",展开下面的菜单就可以连接上HDFS,
可以直接看到HDFS中的目录和文件:
12.在"Project Explorer"面板中点击鼠标右键,选择新建,就可以创建"Map/Reduce"项目了:
13.下面我们创建了一个名为"hadoop-test"的项目,可以看到它自动帮我们导入了很多的jar包:
14.在项目的src下面创建log4j.properties文件,内容如下:
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)