使用Ambari来部署hadoop集群（搭建内网HDP源）

使用Ambari来部署hadoop集群（搭建内网HDP源）

规划

*** 作系统:centos6.5

安巴里-百胜回购10.10.10.20公网

Ambari-server10.10.10.10内部网

hadoop-master110.10.10.1内部网

Hadoop-master210.10.10.2内部网

Hadoop-slave110.10.10.3内部网

Hadoop-slave210.10.10.4内部网

Hadoop-slave310.10.10.5内部网

准备工作

(1)修改主机名

ambari-服务器、主机1、主机2、从机1、从机2、从机3

$hostnameXXX&；&echoXXX>/etc/hostname $cat>；>/etc/hosts<；<EOF 10.10.1master1 10.10.10.2master2 10.10.10.3slave1 10.10.4slave2 10.10.10.5slave3 10.10.10.10.10ambari-server 10.10.20ambari-yum

ambari-服务器、主机1、主机2、从机1、从机2、从机3

$setenforce0 $serviceiptablesstop $chkconfigiptablesoff (3)主从节点间的ssh相互信任

从属1、从属2、从属3

$echosshd:10.64.8.110.64.8.2>；>/etc/hosts.allow master1、master2

$ssh-keygen-tRSA $ssh-copy-id-I~/。ssh/id_RSA.pubroot@slave1 $ssh-copy-id-I~/。ssh/id_RSA.pubroot@slave2 $ssh-copy-id-I~/。ssh/id_RSA.pubroot@slave3 (4)安装jdk

ambari-服务器、主机1、主机2、从机1、从机2、从机3

$wgethttp://download.Oracle.com/OTN-pub/Java/JDK/8u111-b14/JDK-8u111-Linux-x64.rpm $rpm-IVHJDK-8u111-Linux-x64.rpm

(5)格式化硬盘

ambari-服务器、主机1、主机2、从机1、从机2、从机3

$yes|mkfs.ext4/dev/sdb $mkdir/data $mount/dev/sdb/data $echo"mount/dev/sdb/data">；>/etc/RC.local

(6)系统参数调整

ambari-服务器、主机1、主机2、从机1、从机2、从机3

$cat>；>/etc/sysctl.conf<；<EOF net.IPv4.TCP_fin_timeout=30 net.IPv4.TCP_keepalive_time=1200 net.IPv4.TCP_syncookies=1 net.IPv4.TCP_tw_reuse=1 net.IPv4.IP_local_port_range=102465000..

$ cat >> /etc/security/limits.conf <<EOF *             soft    nofile          65535*             hard    nofile          65535 EOF

重新启动

二:搭建内网yum源码

注意:考虑到hadoop集群机器可能是内网机器，没有公共访问权限，我们选择构建内网yum源码，需要公共访问权限。如果你所有的机器都可以出公网，你也可以跳过这一步。

(1)添加一个yum源

安巴里-云雷波

$CD/opt $wgethttp://public-repo-1.Hortonworks.com/ambari/centos6/1.x/updates/1.4.1.25/ambari.repo $CPambari.repo/etc/yum.repos.d/

(2)同步yumsource的包

安巴里-云雷波

$回购同步-rHDP-utils-1.1.0.16 $回购同步-r更新-安巴里-1.4.1.25 $回购同步-r安巴里-1.x

(3)发布百胜源

安巴里-云雷波

发布需要web服务器，已经安装了nginx。把上面三个下载包的目录移到nginx发布目录下。

$ yum install nginx $ mkdir /usr/share/nginx/html/ambari $ cp -R ambari-1.x    /usr/share/nginx/html/ambari/ $ cp -R HDP-UTILS-1.1.0.16   /usr/share/nginx/html/ambari/ $ cp -R Updates-ambari-1.4.1.25  /usr/share/nginx/html/ambari/

(4)创建回购

安巴里-云雷波

安装createrepo命令

$ yum install createrepo $ cd  /usr/share/nginx/html/ambari/ $ createrepo ./

(5)添加HDP源

安巴里-云雷波

$vim/etc/yum.repos.d/HDP.repo [HDP-2.0.6] name=HDP baseURL=http://public-repo-1.Hortonworks.com/HDP/centos6/2.x/updates/2.0.6.0 enabled=1 gpgcheck=0

$ mkdir /usr/share/nginx/html/hdp $ cd /usr/share/nginx/html/hdp 同步网络源的包，1G左右。 $ reposync -r HDP-2.0.6 $ createrepo ./

所以本地的百胜货源还是可以的！

(6)配置yum.repo配置文件，放在web目录下。

安巴里-云雷波

注意:这个ambari.repo配置是针对其他机器的，不是本机器的配置。

$ mkdir /usr/share/nginx/html/hadoop $ cd /usr/share/nginx/html/hadoop $ vim ambari.repo [ambari-1.x] name=Ambari 1.x baseurl=http://10.10.10.20/ambari/ gpgcheck=0 enabled=1 [HDP-UTILS-1.1.0.16] name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16 baseurl=http://10.10.10.20/ambari/ gpgcheck=0 enabled=1 [Updates-ambari-1.4.1.25] name=ambari-1.4.1.25 - Updates baseurl=http://10.64.10.20/ambari/ gpgcheck= enabled=1 $ vim hdp.repo [HDP-2.0.6] name=HDP baseurl=http://10.10.10.20/hdp path=/ enabled=1 gpgcheck=0

三:安装Ambari

(1)添加一个yum源

ambari-服务器、主机1、主机2、从机1、从机2、从机3

$CD/etc/yum.repos.d/ $wgethttp://10.10.20/Hadoop/ambari.repo#上面构建的内网的yum源码 $wgethttp://10.10

(2)ambari主机ssh信任hadoop机器

主机1、主机2、从机1、从机2、从机3

$echosshd:10.10.10.10>；>/etc/hosts.allow Ambari-server

$ssh-keygen-tRSA $ssh-copy-id-I~/。ssh/id_RSA.pubroot@master1 $ssh-copy-id-I~/。ssh/id_RSA.pubroot@master2 $ssh-copy-id-I~/。ssh/id_RSA.pubroot@slave1 $ssh-copy-id-I~/。ssh/id_RSA.pubroot@slave2 $ssh-copy-id-I~/。ssh/id_RSA.pubroot@slave3

(3)安装ambari

安巴里服务器

$yum-y安装ambari-server

(4)初始化ambari

ambari-服务器

下载所需的jdk文件(您必须使用该文件)

$ wget http://public-repo-1.hortonworks.com/ARTIFACTS/jdk-6u31-linux-x64.bin $ mv jdk-6u31-linux-x64.bin /var/lib/ambari-server/resources/ $ ambari-server setup  #初始化配置

(5)启动ambari

ambari-服务器

$ambari-服务器启动

(6)用本地hadoop源代码配置ambari

ambari-服务器

$CD/var/lib/ambari-server/resources/stacks/HDPlocal/2.0.6/repos/ $vimrepoinfo.XML will centos6

(7)输入ambari

访问:http://10.10.10.10:8080进入ambari，user:admin，passwd:admin。

输入集群名称

选择堆栈版本

目标主机进入hadoop机器列表，需要添加/root/。ambari-server的ssh/id_rsa文件。

Ambari-agent将自动安装。

选择安装该服务的机器。

配置客户端和从属服务器

配置每个系统

开始安装。

通过Ambari部署hadoop集群成功！

部署期间遇到的问题:

1:由于执行os_type_check.sh脚本失败，本地 *** 作系统与群集主 *** 作系统不兼容报告了一个错误。这是一个BUG。可以直接修改这个os_type_check.sh，输出一个正确的结果。

2:安巴里过去没有复制正确的hdp源，所以手动配置hdp源到hadoop的集群。

$ vim hdp.repo [HDP-2.0.6] name=HDP baseurl=http://10.10.10.20/hdp path=/ enabled=1 gpgcheck=0

3:Nagios输入正确的密码和用户名后无法登录。密码文件httpd用户没有权限，设置777后可以正常访问。

-rw-r-1NagiosNagios9月26日11:54/etc/Nagios/htpasswd.users

4:[/S2/]jourenode启动失败并报告了一个错误。

直接执行yum会报错。

$yum-d0-e0-y安装net-snmp-utils

rpmdb:线程/进程12500/139757427676928失败:线程在BerkeleyDB库中死亡

错误:dbenv->；中出现db3错误(-30974)；failchk:DB_RUNRECOVERY:致命错误，运行数据库恢复

错误:无法使用db3-(-30974)打开包索引

错误:无法打开/var/lib/rpm中的包数据库

关键:yum.main:

解决方案:

$rm-rf/var/lib/rpm/__db。*