投稿
  1. 首页
  2. 随笔

Ambari集群部署全流程，这份JAVA核心面试知识整理免费分享

视频相册制作 • 2022-12-16 • 随笔 • 阅读 18

Ambari集群部署全流程，这份JAVA核心面试知识整理免费分享,第1张

Ambari集群部署全流程，这份JAVA核心面试知识整理免费分享

sudo vi /etc/selinux/config

将SELINUX 改为 SELINUX=disabled

1.6 SSH免密

Hadoop大数据集群的相关组件大多依赖SSH免密登录来通过一个节点 *** 作集群

使用hadoop用户登录 （切换到根目录）

su - hadoop

执行命令生成公、私钥(三次直接回车)

ssh-keygen

将公钥拷贝到认证文件

cd .ssh/

cat id_rsa.pub >> authorized_keys

文件授权

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

执行ambari-01 自己到自己的 SSH 测试免密登录

ssh ambari-01

输入 yes 回车

yes

2 安装java

上传jdk8稳定版压缩包到服务器目录&解压

sudo tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local/

链接jdk - jdk1.8.0_231

sudo ln -s /usr/local/jdk1.8.0_231/ /usr/local/jdk

移除安装包

rm -rf jdk-8u231-linux-x64.tar.gz

配置java环境变量

==========

sudo vi /etc/profile

在配置文件末尾加上如下配置

export JAVA_HOME=/usr/local/jdk

export JRE_HOME={JAVA_HOME}/lib/:JREH​OME/libexportPATH={JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

查看java版本

java -version

3、准备本地yum源

思路：把HDP所需要的RPM安装包都下载到本地创建一个yum源，后续安装使用本地yum源，可以内网 *** 作速度更快

3.1、安装Apache

安装Apache

sudo yum -y install httpd

将Apache设置为开机启动

sudo systemctl enable httpd

启动Apache

sudo systemctl start httpd

测试访问 http://192.168.186.164

3.2 HDP安装部署到apache

通过FTP上传RPM安装包到服务器上

移动安装包到 /var/www/html/目录下

sudo mv ambari-2.7.4.0-centos7.tar.gz /var/www/html/

sudo mv HDP-3.1.4.0-centos7-rpm.tar.gz /var/www/html/

sudo mv HDP-GPL-3.1.4.0-centos7-gpl.tar.gz /var/www/html/

sudo mv HDP-UTILS-1.1.0.22-centos7.tar.gz /var/www/html/

解压缩

sudo tar -zxvf ambari-2.7.4.0-centos7.tar.gz

sudo tar -zxvf HDP-3.1.4.0-centos7-rpm.tar.gz

sudo tar -zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz

sudo tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz

移除压缩包

sudo rm -rf ambari-2.7.4.0-centos7.tar.gz

sudo rm -rf HDP-3.1.4.0-centos7-rpm.tar.gz

sudo rm -rf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz

sudo rm -rf HDP-UTILS-1.1.0.22-centos7.tar.gz

更改目录权限

sudo chmod -R ugo+rX /var/www/html/

3.3 配置本地yum源

#进入如下目录

cd /etc/yum.repos.d/

#创建ambari.repo文件 & 写入如下# #包括的内容

sudo vi ambari.repo

#仓库名字

[ambari-repo]

#yum 源描述

name=ambari

#指向yum源地址

baseurl=http://ambari-01/ambari/centos7/2.7.4.0-118/

#关闭下载RPM的jpg校验

gpgcheck=0

#组可用

enabled=1

#查看yum源配置是否生效 & 看到红框内容则成功

yum repolist

4 安装MySQL

#安装mysql的yum仓库

sudo wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

#安装mysql(必须进入到 /etc/yum.repos.d/目录后再执行以下脚本)

yum install mysql-server

#设置开机启动

sudo systemctl enable mysqld

#启动MySQL

sudo systemctl start mysqld

#查看MySQL的启动状态

sudo systemctl status mysqld

#查看root临时密码(临时密码每次都是随机生成的) (&fZPOuLl19i

sudo grep ‘temporary password’ /var/log/mysqld.log

#使用临时密码登录

mysql -uroot -p

MySQL常用密码参数

set global validate_password_policy=0;

set global validate_password_mixed_case_count=0;

set global validate_password_number_count=3;

set global validate_password_special_char_count=0;

set global validate_password_length=3;

修改密码（‘root’@’%’ – 允许远程连接）

GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘PWD@123456’ WITH GRANT OPTION;

ALTER USER ‘root’@’%’ IDENTIFIED BY ‘PWD@123456’;

退出MySQL

Exit

上传驱动包mysql-connector-java-8.0.18.jar 到服务器/usr/share/java目录

sudo mkdir -p /usr/share/java

5、部署AmbariServer

5.1 安装AmbariServer

sudo yum -y install ambari-server

5.2 创建AmbariServer的数据库资源

#登录MySQL

mysql -uroot -pPWD@123456

#执行如下命令 创建ambari用户并授权

set global validate_password_policy=0;

set global validate_password_mixed_case_count=0;

set global validate_password_number_count=3;

set global validate_password_special_char_count=0;

set global validate_password_length=3;

create database ambari;

CREATE USER ‘ambari’@’%’ IDENTIFIED BY ‘bigdata’;

GRANT ALL ON ambari.* TO ‘ambari’@’%’;

FLUSH PRIVILEGES;

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

#执行脚本*

use ambari;

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

#退出

exit;

5.3 配置AmbariServer

#配置

sudo ambari-server setup

#使用默认账户 root 输入 n Customize user account for ambari-server daemon y/n?

n

#使用自带jdk

2

#输入JAVA_HOME

/usr/local/jdk

#安装GPL

y

#数据库配置

y

#选择MySQL & 一路回车（mysql安装在本机，前面设置的数据库账户ambari和密码bigdata）

3

#输入驱动路径

/usr/share/java/mysql-connector-java-8.0.18.jar

远程连接

y

6、Ambari部署核心技术组件

6.1 启动Ambari

#启动AmbariServer

sudo ambari-server start

如果出现错误，一定要查看日志：vi /var/log/ambari-server/ambari-server.log

遇到的错误：不能启动服务“REASON: Server not yet listening on http port 8080 after 50 seconds.Exiting.”

原因：由于本地的公网 ip改变或者不稳定导致的链接不上。

解决：修改/etc/hosts，将 hostname公网 IP映射改为内网映射。

浏览器webui访问

http://192.168.186.164:8080/

账户: admin

密码: admin

**常见问题：**Ambari启动正常，没有错误日志，但是通过http://192.168.186.164:8080/无法访问Ambari。

原因：

1.防火墙没有关闭（查看防火墙：sudo systemctl status firewalld）

2.云服务8080端口没有对外开放

解决：

1.关闭防火墙：sudo systemctl stop firewalld

2.开放服务器8080端口

6.2 集群部署

1、启动安装向导

2、集群名命名 - dmp_cluster（数据中台） 点击 next

选择 HDP3.1.4.0，因为我们下载的就是这个版本的安装包，已经构建自本地 yum仓库，然后要选择”Use Local Repository“

只保留"readhat7"的仓库，接下来要把直接部署 yum本地仓库的地址填进去，同时不要勾选下面的两个高级选项

各个仓库的地址参考下表

http://ambari-01/HDP/centos7/3.1.4.0-315/

http://ambari-01/HDP-GPL/centos7/3.1.4.0-315/

http://ambari-01/HDP-UTILS/centos7/1.1.0.22/

注册主机

上面的私钥要拷贝完整，一点也不能少，最后一行也不要换行

开始注册主机 installing

主机注册成功 success

如果报错则查看主机host文件 删除不必要的配置

主机在注册过程中会去各节点检查环境是否有问题，我么可以点击上图的”Click here to see thewarnings“去查看

查看issue 时间同步问题

暂时不处理

选择要安装的服务

Amabri管大数据的各个组件叫做 Service，在这一步要选择同时安装的服务，当然我们也可以先不选后面再选。在这里我们选择安装下 Hadoop相关的服务，其余的服务就取消掉对话框的对勾(它默认选了一堆，一定要去掉，好多用不到)，如下图所示：

在这里要特别注意，在 Ambari里 Hadoop被当做多个服务例如 HDFS、YARN等，如果你选择

的服务依赖于其他服务他会提示的，你点击确认后会自动勾选，然后下一步即可

分配 Mater服务安装到哪些主机

接下来 Ambari会让你选择 Master服务要安装到哪些主机，所谓 Master服务，是指的各个服务的 Master服务，例如 HDFS的 Master服务就是namenode，因为我们就一个节点，所以保持不动直接下一步：

分配 Slave服务和 Client安装到哪些主机

自定义 Service

这里要注意，随着前面你选的 Service的不同，这里也会不同，点击”next“会让你确认一些服务的目录，我们先保持默认，直接”next“，如下图：

然后是确认各个 service运行在 *** 作系统的哪个用户下，我们也保持默认，如下图:

点击下一步，会让我们确认其他的配置，我们保持默认直接点 NEXT：

注意，这里随着你前面选择的 service的不同会有很大差异，比如你要选择了 Hive，它一定会要你输入 MySQL相关信息，所以不要死记硬背。

如果 ADVANCED爆红，说 ssl.client.keystore.password密码不匹配，这里面默认设置密码为 admin即可。

Review

在 Review环节我们要仔细检查之前的配置，没有问题就点击”DEPLOY“正式开始部署了，如下图所示：

配置ambari-01 ambari-02 ambari-03

添加hadoop 用户 赋予sudo权限

# 配置hostname

# 关闭SELinux、关闭防火墙

# 生成私钥公钥

# 配置免密登录 我们所谓的免密就是拿集群中的一台机器作为管理节点，然后让他可以 ssh免密码到其他节 点执行命令，这对我们维护一个多节点的集群非常有意义。我们当然以 ambari-01为管理节点， 所以要实现 ambari-01到其他节点的免密。 拿到 ambari-01的公钥： 把 ambari-01的公钥添加到 ambari02和 ambari-03的~/.ssh/authorized_keys文件中 然后 ambari-01到 ambari-02、ambari-03分别连接一次： ssh ambari-02 ssh ambari-03 如果第一次需要输入 yes第二次不需要则 ssh免密就做好了，注意我们只做了 ambari-01到其他节点的 ssh免密。

时钟同步 安装Chrony

ambari-01 Chrony Server

ambari-02 Chrony Client

ambari-03 Chrony Client

安装 chrony

安装 chrony

sudo yum -y install chrony

1、服务状态：

#启动chrony服务

systemctl start chronyd.service

#设置开机同步时间

systemctl enable chronyd.service

#查看服务状态

systemctl status chronyd.service

#直接关闭防火墙

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

​

#不关闭防火墙、但允许NTP服务

#因NTP使用123/UDP端口协议，所以允许NTP服务即可

firewall-cmd --add-service=ntp --permanent

firewall-cmd --reload

​

1、服务端配置

#配置文件修改

vi /etc/chrony.conf

​

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/zaji/5656070.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
视频相册制作 视频相册制作 一级用户组
0 0
上一篇 2022-12-16
下一篇 2022-12-16

发表评论

登录后才能评论

评论列表（0条）

保存