如何在CentOS6.5下编译64位的Hadoop2.x

一、预先安装必要软件

1、需要的软件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake

检测系统中是否已安装了某一软件命令：rpm -qa|grep 软件名，如检测系统中是否安装了svn：

$ rpm -qa|grep svn

2、如果已安装，则跳过，如果没有安装，用命令：yum install svn进行安装，如：

$ yum install svn

如果yum命令安装失败（找不到相应的包），则需手动下载相应的软件包进行安装，比如maven, protobuf这两个个软件；

二、安装maven

1、软件包：apache-maven-3.0.5-bin.tar.gz

不要使用最新的Maven3.1.1，与Maven3.0.x存在兼容性问题，所以老是出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。选择3.0.5版本：apache-maven-3.0.5-bin.tar.gz

将apache-maven-3.0.5-bin.tar.gz移动到/usr目录（软件包所在目录）：

# mv ./apache-maven-3.0.5-bin.tar.gz /usr

进入/usr目录，解压（/usr目录）：

# tar –zxvf apache-maven-3.0.5-bin.tar.gz ./

删除解压后的压缩包（/usr目录）：

# rm –rf apache-maven-3.0.5-bin.tar.gz

将/usr / apache-maven-3.0.5/bin加到环境变量中

# vi /etc/profile

在PATH行闭戚悉的最后加上“:/usr/apache-maven-3.0.5/bin”

2、使配置生效：

# source /etc/profile

验证是轿乎否安装成功：

# mvn –version

三、安装protobuf

1、软件包：protobuf-2.5.0.tar.gz

将protobuf-2.5.0.tar.gz移动到/usr目录（软件包所在目录）：

# mv ./ protobuf-2.5.0.tar.gz /usr

进入/usr目录，解压（/usr目仔携录）：

# tar –zxvf protobuf-2.5.0.tar.gz ./

删除解压后的压缩包（/usr目录）：

# rm –rf protobuf-2.5.0.tar.gz

进入/usr/protobuf-2.5.0目录：

# cd /usr/protobuf-2.5.0

2、依次执行下列命令：

# ./configure

# make

# make check

# make install

检测是否安装成功：

# protoc --version

四、下载hadoop-2.2.0源码并编译

在/usr目录进行

用svn下载hadoop-2.2.0源码，命令：

$ svn checkout 'http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0'

源码下载完成后，在/usr目录下会有一个release-2.2.0目录，进入该目录：

$ cd /usr/release-2.2.0

$ ls –la

编译源码：

$ mvn package -Pdist,native -DskipTests –Dtar --不生成文档

$ mvn package -Pdist,native,docs,src -DskipTests –Dtar --生成文档，需要安装findbugs，并设置FINDBUGS_HOME环境变量

编译的时间比较久，编译过程中会联网下载所需要的包，机子没联网是不会成功编译的。

编译结束，最后打印的信息如下，每一项均是‘SUCCESS’，则编译成功：

编译好的代码包在/usr/release-2.2.0/hadoop-dist/target目录下：

$ cd /usr/release-2.2.0/hadoop-dist/target

$ ls –la

因为是在64位系统下编译的，所以编译出来的代码包是64位版本的；可以直接将/usr/release-2.2.0/hadoop-dist/target目录下的hadoop-2.2.0或者hadoop-2.2.0.tar.gz拷贝到其他linux64位平台进行搭建hadoop集群。

说明：

1、 机器得连网，如果没联网找可以联网的机器下载，但是编译时还是要下载一些东西，所以，实在不行。最好找相同平台（可以是虚拟机）能上网的机器做下面工作，弄好了再把编译好的代码包拷回来。

2、 命令 *** 作中，‘#’开头的是在root用户进行，‘$’开头的是在普通用户下进行

1、如果对nodejs环境有比较高的要求，建议选择源码安装盯轮的方式进行安装。

你可以到nodejs org官网上面毁则圆找到相对的tar.gz文件包。

通过wget命令下载到centos服务器上， 然后进行源码安装。

2、如果对版本要求不高，可以直接用centos的包管理器yum进行安纤塌装

yum install nodejs npm

3、nodejs版本也可以通过nvm等工具去控制，期待深入研究。

这个可能是网卡的问题，程序不断的在检测网卡，但虚拟网卡有巧中老培迟问题。

这个时候你可以按组合键孝升shift+F1，你能看到命令行打印的信息，应该有两个Failed。

等待，一会儿后你应该可以看到登陆的界面

---