zookeeper集群搭建方式

本次搭建版本是：zookeeper-3414targz（以下在每台服务器都需要部署一遍）

1，将zookeeper-3414targz 拷贝到服务器（本次集群是3台）指定文件夹位置。

        解压 tar -zxvf zookeeper-3414targz   让后修改名称 mv zookeeper-3414 zookeeper

2，进入到zookeeper目录。

3，然后在/etc/profile 增加zookeeper环境变量

4，进入到conf目录下面。修改zoo_samplecfg 文件名

    执行命令：mv zoo_samplecfg zoocfg

5，编辑zoocfg文件

    执行命令：vim zoocfg 

    1》修改dataDir 为zookeeper下面的data（该文件需要自己创建）

    2》clientPort 默认是2181 （此处有端口占用，所有我这边改成2182）

    3》在文件最后面加入集群（此处三台集群为什么这样加，暂时没有研究）

    server0=ip1:2888:3888

    server1=ip2:2888:3888

    server2=ip3:2888:3888

6，在5中dataDir的目录下面新建myid文件，文件内容是当前zk的节点

7，启动每台服务器的zk服务节点，在bin目录下执行（添加环境变量的话可以在任意位置执行）

    执行命令：/zkServersh start（/zkServersh stop是停止）

    启动成功后 查看是否启动起来：

        执行命令：ps aux | grep 'zookeeper' 或者 jps
8，查看三台机器主从身份（leader 主 follower从）

至此zk集群搭建成功。
kafka集群搭建方式： >多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展
redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点构成三主三从

redis 多节点启动 使用 /redis-server xxxxconf 指定不同的配置文件即可

完全分布式HA

服务器规划

技术栈包含
hdfs
hive on spark
presto
doris
superset
azkaban
kafka
fluent\flume
sqoop\kettle\flink-cdc
atlas

禁用swap/selinux

修改 IP/修改主机名/及主机名和 IP 地址的映射

时间同步/设置时区/自动时间同步

关闭防火墙

关闭SELINUX

新建用户

免密登录（先升级openssh）

发送密钥（dw01上执行）

授权

Tencent Kona v808-GA

腾讯开源的konaJDK，针对大数据场景下优化

解压并重命名至安装地址：/usr/local/java/

zookeeper-359

解压并重命名至安装地址：/usr/local/zookeeper

apache-hadoop-313 解压至安装地址：/usr/local/hadoop

修改环境变量

/usr/local/zookeeper/conf

启动zookeeper集群（每台执行）

三台服务器启动

格式化namenode（dw01执行）

启动namenode(dw01上执行)

在[nn2]和[nn3]上分别执行，同步 nn1 的元数据信息

启动nn2 nn3，分别执行

所有节点上启动datanode

将[nn1]切换为 Active

查看状态

配置yarn-sitexml

配置mapred-sitexml

分发配置文件，启动yarn(dw03 启动)

dw03节点

dw01节点

dw01执行

dw03执行

测试样例

启动脚本

HA切换namenode手动

修改yarn显示log的bug

安装流程

我们先来回顾上一篇我们完成的单节点的Hadoop环境配置，已经配置了一个CentOS 68 并且完成了java运行环境的搭建，Hosts文件的配置、计算机名等诸多细节。

其实完成这一步之后我们就已经完成了Hadoop集群的搭建的一半的工作了，因为我们知道通过虚拟机搭建所搭建的好处就是直接拷贝机器。多台同步进行 *** 作，减少分别配置的时间消耗浪费。这也是虚拟化技术所带来的优势。

下面，咱们进去分布式系统的详细 *** 作过程。

1、首先需要在VMWare中将之前创建的单实例的计算机进行拷贝。

这里根据之前第一篇文章的规划，我们至少需要再克隆出三台计算机，作为DataNode数据节点的数据存储。之前的上一台机器作为Master主节点进行管理。

这里先来梳理一下整个Hadoop集群的物理架构图，大家有一个直接的观念和认识，上表中已经和明确了，总共需要5台服务器来使用，四台用来搭建Hadoop集群使用，另外一台（可选）作为MySQL等外围管理Hadoop集群来使用。

---