Hadoop 踩坑笔记 -no.3 HA集群框架 UnknownHost

问题如标题，老规矩先复述一下HA框架的搭建步骤

    再网上淘到了一篇非常详细的博客

    >

kubeadm 是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，通过kubeadm的方式安装集群比二进制的方式安装高效不少。建议初次使用k8s使用此方式安装，二进制的方式会很快令人失去信心。

在开始之前，部署Kubernetes集群机器需要满足以下几个条件：

dnsmasq安装可参考我的另一篇 文章

ha1节点配置

ha2节点配置

在两台ha节点都执行

启动后查看ha的网卡信息（有一台可看到vip）

两台ha节点的配置均相同，配置中声明了后端代理的两个master节点服务器，指定了haproxy运行的端口为16443等，因此16443端口为集群的入口

两台ha都启动

检查端口

Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker。kubelet控制容器，kubeadm控制加入平面。

镜像加速

由于版本更新频繁，这里指定版本号部署：

在master1 *** 作

按照提示配置环境变量，使用kubectl工具：

按照提示保存以下内容，一会要使用：

查看集群状态

从官方地址获取到flannel的yaml，在master1上执行

安装flannel网络

检查

从master1复制密钥及相关文件到master2

master3 *** 作同上

执行在master1上init后输出的join命令,需要带上参数 --control-plane 表示把master控制节点加入集群

检查状态

在node1、2、3上执行

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

检查状态

在Kubernetes集群中创建一个pod，验证是否正常运行：

访问地址： >截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 10，第二代Hadoop称为Hadoop 20。第一代Hadoop包含三个大版本，分别是020x，021x和022x，其中，020x最后演化成10x，变成了稳定版，而021x和022x则NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是023x和2x，它们完全不同于Hadoop 10，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于023x，2x增加了NameNode HA和Wire-compatibility两个重大特性。
原文参考：>不同组内服务器的时间差不但影响session过期判断，时间差过大时，根本就无法建立集群。Linux下同步时间通常采用ntp协议。
可以在每个服务器上增加自动运行脚本文件，每天时间服务器自动同步，如/etc/crondaily下增加脚本！

客户要求要回收一批hadoop集群的一批服务器，万幸namenode和resourcemanager服务没有安装在这批服务器上，但不巧的是3个journalnode节点都在这批服务器上，所以暂时先增加3个journalnode节点，等到回收服务器的时候，再把原来的journalnode节点下线，记录一下 *** 作

1修改hdfs-sitexml配置文件
原配置为：

修改为：

2分发hdfs-sitexml文件到各节点

3将原journalnode上的edits文件scp到新的journalnode节点
从hdfs-sitexml文件中的dfsjournalnodeeditsdir配置项得到edits文件存储路径，scp到新节点的相同路径，注意权限和属主要相同，可以用scp -rp来复制

4新journalnode节点启动journalnode进程

jps检查是否启动成功，如果失败就去看$HADOOP_HOME/logs下的journalnode相关的日志，讲道理应该没什么问题

5把standby(nn2)节点的namenode重启一下

6切换standby节点为active

7重启standby(nn1)节点的namenode
*** 作同5，完成后web界面应该可以看到NameNode Journal Status的journalnode已扩展完成

---