CDH在线安装详细步骤(使用官方yum源)

在线安装过程不算太过复杂, 需要细心

假如我想安装5.7.0, 需要做如下 *** 作

打开一下两个网址查找是否有5.7.0文件夹, 如果有, 才能安装5.7.0版本, 否则, 选择其他版本

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/

需要在各失败的agent机器上执行 mv /usr/bin/host /usr/bin/host.bak

楼主由于安装时没有修改yum源, 只是cdh版本太高, 和应用不兼容, 所以需要卸载cdh并安装低版本5.7.0

卸载步骤:

参考博客: https://blog.csdn.net/wh211212/article/details/78743191

1.配置 Cloudera Manager 仓库(所有节点)

2.安装jdk 1.8（略）

3.安装mysql 5.7（略）

或者yum

这里 不详细说明了

修改集群中各机器的hosts和hostname，并使之永久生效。步骤如下：

输入命令 hostname：查看当前hostname；

输入命令 hostname <new.hostname>：修改new hostname并立即生效（临时有效，重启系统后失效）

输入命令 vim /etc/hosts：为集群中的各机器添加对应的hosts；

输入命令 vim /etc/sysconfig/network：修改HOSTNAME=new.hostname，使new.hostname永久生效。（如果没有该值则手动添加，并重启确认是否永久生效）

设置集群中的各机器能互相SSH免密登录，并且能够ssh locahost登录本机。步骤如下：

输入命令 ssh-keygen -t rsa，一路回车即可；

输入命令 ssh-copy-id -i .ssh/id_ rsa.pub [email protected]；

ssh登录各机器进行确认。

可能会有的报错：

/usr/bin/ssh-copy-id: ERROR: Host key verification failed.

因为我输入ssh-copy-id -i .ssh/id_ rsa.pub [email protected]时没有输入yes 直接回车，再次输入yes成功

sudo firewall-cmd --zone=public --add-port=7180/tcp --permanent

sudo firewall-cmd --reload

临时关闭防火墙

systemctl stop firewalld

检查SELinux当前状态：getenforce；

如果输出为Permissive或Disabled，那么就可以不用设置SELinux的模式了。如果输出是enforcing，就接着做下一步；

vim /etc/selinux/config (有些系统里是 /etc/sysconfig/selinux)；

将 SELINUX=enforcing 修改为 SELINUX=permissive，保存并退出；

输入 setenforce 0，使设置立即生效

集群中各机器都要配

https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cdh_enable_ntp.html

解压cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz

cloudera manager的目录默认位置在/opt下

mv cm-5.11.0 /opt/

mv cloudera /opt/

添加mysql 驱动

cd /opt/cloudera/parcel-repo/

复制以下文件到该目录

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel

manifest.json

修改

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1为

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha

各Service所需的库如下图，其中库名和user名可以自定义，但自己必须记住。（建议库名使用图中所示的，user名可以自定义，并且可以相同）

运行

登录：

http://10.1.4.44:7180/cmf/login

1 启动报错：

启动server/agent失败，报错pstree: command not found

安装 psmisc

2 我重装了HDFS所以报错

对当前 NameNode 的名称目录进行格式化。如果名称目录不为空，此 *** 作将失败。

删除 /dfs下的nn目录重试即可

3 datanode启动失败报错

将/dfs/nn 和 dn的 VERSION中的clusterIDs改为一致即可

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。

---