Centos7.9部署CDH6.3.2集群(离线版本)

Centos7.9部署CDH6.3.2集群(离线版本)

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/installation.html

一.CDH介绍

是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面
CDH优点
版本划分清晰
更新速度快
支持Kerberos认证

二.安装环境 1.系统说明 *** 作系统CPU内存硬盘IP主机名Centos7.92C4G100G192.168.1.100node1Centos7.92C4G100G192.168.1.101node2Centos7.92C4G100G192.168.1.102node3 2.版本说明

CM 6.3.1，CDH 6.3.2 （6.3.3版本及以上的要收费了）

3.组件版本

4.安装包准备

Cloudera Manger下载
cloudera-manager-server-6.3.1-1466458.el7.x86_64
cloudera-manager-agent-6.3.1-1466458.el7.x86_64
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64CDH下载
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.jsonMySQL驱动
mysql-connector-java-5.1.49.tar.gz 5.挂载本地Yum镜像 三.环境配置 1.主机配置

vi /etc/hosts
192.168.1.100 node1
192.168.1.101 node2
192.168.1.102 node3

2.防火墙配置

# 查看防火墙状态
firewall-cmd --state
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service

3.SELinux配置

vi /etc/selinux/config
SELINUX=disabled

4.SSH免密登录

#生成ssh key
ssh-keygen
#其他服务器免密码：
ssh-copy-id [email protected]
#测试
ssh [email protected]
#退出
exit

5.chrony时间同步

CentOS 7默认以chronycd服务作时间同步，而不以ntpd作为同步服务

#查看系统是否已安装chrony
rpm -qa |grep chrony
#安装
yum -y install chrony
#启动chrony服务
systemctl start chronyd.service
#设置开机同步时间
systemctl enable chronyd.service
#查看服务状态
systemctl status chronyd.service
#手动同步时钟
chronyc -a makestep 
#显示当前chronyd正在访问的时间源的信息
chronyc sources -v
# 查看当前时区及时间
timedatectl 

配置server

#修改/etc/chrony.conf配置
vi /etc/chrony.conf
#修改三项
server node1 iburst   #表示与本机IP同步时间，其他server注释或删除
allow 0.0.0.0/0   # 指定一台主机、子网，或者网络以允许或拒绝NTP连接到扮演时钟服务器的机器
local stratum 10    #不去同步任何人的时间。时间同步服务级别
#启动并自启chrony服务
systemctl restart chronyd.service
systemctl enable chronyd.service

配置client

vi /etc/chrony.conf
#修改一项，其他server注释或删除
server 192.168.1.100 iburst   #表示与服务端IP同步时间
#启动并自启chrony服务
systemctl restart chronyd.service
systemctl enable chronyd.service
#查看是否成功
chronyc sources -v

chronyc sources
S 此列指示源的状态：
* 表示chronyd当前同步到的源。
+ 表示可接受的信号源，与选定的信号源组合在一起。
- 表示被合并算法排除的可接受源。
? 指示已失去连接性或其数据包未通过所有测试的源。它也显示在启动时，直到从中至少收集了3个样本为止。
x 表示chronyd认为是虚假行情的时钟（即，其时间与大多数其他来源不一致）。
~ 表示时间似乎具有太多可变性的来源。

6.JDK配置

rpm -qa |grep java
yum list java*
yum -y install java-1.8.0-openjdk
java -version

7.Mysql驱动

#上传mysql-connector-java-5.1.49.tar.gz到/opt
tar -xvzf /opt/mysql-connector-java-5.1.49.tar.gz -C /opt
cp /opt/mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /usr/share/java/mysql-connector-java.jar
#复制到其他机器
scp /usr/share/java/mysql-connector-java.jar root@node2:/usr/share/java/

8.数据库配置

CDH所需的数据库:

#创建数据库
CREATE DATAbase scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATAbase oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 新建scm用户
CREATE USER 'scm'@'%' IDENTIFIED BY '123456';
grant all privileges on *.* to 'scm'@'%' IDENTIFIED by '123456' with grant option;
flush privileges; 

9.安装集群问题修改

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。

#临时修改
sysctl vm.swappiness=10
cat /proc/sys/vm/swappiness
#永久修改(如果要让刚写入的立即也生效可以执行以下 sysctl -p)
echo 'vm.swappiness=10'>> /etc/sysctl.conf

已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。

#临时生效
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#永久生效
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

四.安装 Cloudera Manager

#上传文件到/opt,只有主节点需要server包
#cloudera-manager-server-6.3.1-1466458.el7.x86_64
#cloudera-manager-agent-6.3.1-1466458.el7.x86_64
#cloudera-manager-daemons-6.3.1-1466458.el7.x86_64

1.主节点安装cloudera manager server

yum -y localinstall cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-server
# 查看安装是否成功
rpm -qa | grep cloudera-manager

#初始化数据库脚本,直接运行scm_prepare_database.sh查看语法
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456 -h 10.0.70.32 -P 3306
cat /etc/cloudera-scm-server/db.properties

#将CDH parcel包上传到/opt/cloudera/parcel-repo(或者配置Apache HTTP Server服务来存放Parcel文件)
#server和agent都上传加快集群安装进度
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
chown cloudera-scm:cloudera-scm CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

#启动CM Server
systemctl start cloudera-scm-server
# 查看状态
systemctl status cloudera-scm-server
#查看启动日志
tail -100f /var/log/cloudera-scm-server/cloudera-scm-server.log 

2.从节点安装cloudera manager agent

yum -y localinstall cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent
#所有Slave节点修改CM Server地址
vi /etc/cloudera-scm-agent/config.ini
server_host=node1
#启动Agent
systemctl start cloudera-scm-agent
#查看agent状态
systemctl status cloudera-scm-agent
#查看日志
tail -100f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

3.登录CM

http://node1:7180
用户名密码 admin

五.集群安装 1.欢迎

2.Cluster Basics

3.Specify Hosts

4.选择存储库

5. Install Parcels

6. Inspect Cluster

7.安装组件

自定义角色分配

数据库设置

修改配置

等待运行命令安装