kafka分布式集群搭建与部署

kafka分布式集群搭建与部署

本次采用的系统为centos7
kafka版本为kafka_2.11-2.0.0
链接：https://pan.baidu.com/s/1I7PA0kw1yLyrE9Qt1yF2oA
提取码：qwer

本文中使用的自带的zookeeper

1、解压文件

在opt文件夹下解压

[root@localhost opt]# tar zxvf kafka_2.11-2.0.0.tgz

2、创建tmp路径

[root@localhost kafka_2.11-2.0.0]# mkdir logs

3、修改server.properties文件

#进入 config文件夹
[root@localhost kafka_2.11-2.0.0]# cd config/
#修改
vi server.properties


#broker的全局唯一编号，不能重复(修改处) 此处3台节点都要修改
broker.id=0
#kafka运行日志存放的路径(修改处)
log.dirs=/opt/kafka_2.11-2.0.0/logs
#配置连接Zookeeper集群地址(修改处)
zookeeper.connect= master:2181,slave1:2181,slave2:2181

4、修改producer.properties 文件

[root@localhost config]# vi producer.properties 

bootstrap.servers=master:9092,slave1:9092,slave2:9092

5、发送到其他节点并修改server.properties

#发送到其他节点
scp /opt/kafka_2.11-2.0.0 slave1:/opt/
scp /opt/kafka_2.11-2.0.0 slave2:/opt/

#修改server.properties
#broker的全局唯一编号，不能重复(修改处) 此处3台节点都要修改
broker.id=0

6、配置环境变量

#KAFKA
export KAFKA_HOME=/opt/kafka_2.11-2.0.0
export PATH=$PATH:$KAFKA_HOME/bin
#发送到其他节点
scp /etc/profile slave1:/etc/
scp  /etc/profile  slave2:/etc/

#刷新 每台节点都需要
source /etc/profile

7、启动

1. 启动zk

   [root@localhost kafka_2.11-2.0.0]#  bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
   

2. 启动kafka server

   [root@localhost kafka_2.11-2.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
   

jps 查看进程