什么是apache hadoop 软件

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。[2]

参考资料：http://baike.baidu.com/link?url=vFe2tGSMoXNc7K45h57KkAQMcUNL2fJOkXPj3n_Tz-PRvnN24a9faiSsZNjHxBXJlBuXK6EhTAp0yeimu2M4jq

apache hadoop v2.7.0官方最新版http://www.ddooo.com/softdown/69304.htm附详细安装教程和注意事项。

它是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，可以实现在大量计算机组成的集群中对海量数据进行分布式计算。其中软件最核心设计就是：HDFS和MapReduce，其中HDFS提供了海量数据的存储，而MapReduce提供了对数据的计算。目前hadoop已经成为许多程序员的一项重要技能，通常适合于大规模分布式数据处理。

1.下载

下载winghc/hadoop2x-eclipse-plugin 压缩包。

2.提取

提取到本地路径（如“C:\hadoop2x-eclipse-plugin”）。

3.搭建

在命令行窗口中打开'<hadoop2x-eclipse-plugin-directory>\src\contrib\eclipse-plugin'

C:\>cd C:\hadoop2x-eclipse-plugin\src\contrib\eclipse-plugin

运行ANT搭建

C:\hadoop2x-eclipse-plugin\src\contrib\eclipse-plugin>ant jar -Dversion=2.2.0 -Declipse.home=C:/IDE/sts-3.5.0 -Dhadoop.home=c:/hadoopBuildfile: C:\hadoop2x-eclipse-plugin\src\contrib\eclipse-plugin\build.xml

注意：下载“ivy-2.1.0.jar”需要有网络连接

4. 安装

在搭建成功之后，'\src\contrib\eclipse-plugin'.内会生成'hadoop-eclipse-plugin-2.2.0.jar' 。拷贝此jar文件并将其粘贴到你IDE的“插件”所在路径。

5. 配置

如果Eclipse是开启状态就重新启动。否则只要启动就可以了。

a. 进入Windows-->Open Perspective-->Other并选择“Map/Reduce”。

b. 点击“New Hadoop location...”(蓝色大象图标)并定义Hadoop路径来运行MapReduce应用程序。点击“Finish”按钮。

Map/Reduce(V2) Master:

Map/Reduce主节点地址(任务追踪器)

DFS Master:

分布式文件系统主节点地址(名称节点)。

要了解“Port”数量的话，就启动Hadoop并在浏览器中打开 localhost:8088/cluster。点击Tools -->Configuration 并查找以下属性。

DFS Master

<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value><source>core-site.xml</source> </property>

Map/Reduce(V2) Master <property> <name>mapreduce.jobtracker.http.address</name><value>0.0.0.0:50030</value> <source>mapred-default.xml</source> </property>

c. 现在我们可以浏览Hadoop文件系统并只使用GUI来执行不同的文件/文件夹 *** 作。

同样，我们还可以用向导(File -->New -->Other... -->Map/Reduce)轻松创建。

转载，仅供参考。

---