投稿
  1. 首页
  2. java

RocketMQ双主双从集群搭建全流程

code • 2022-5-5 • java • 阅读 46

RocketMQ双主双从集群搭建全流程,第1张

https://www.bilibili.com/video/BV1L4411y7mn?p=15&spm_id_from=pageDriver

总体架构

消息高可用采用 2m-2s（同步双写）方式。

其中采用 Matser 同步刷盘 + Slave 异步刷盘的方式。因为对于消息丢失容忍度很低的应用，官方建议采用SYNC_MASTER + ASYNC_FLUSH 的方式，这样只有master和slave在刷盘前同时挂掉，且都没有刷到磁盘，消息才会丢失。这样是一个兼顾性能和可靠性的较好平衡。而如果对消息丢失容忍度较高的，则建议采用ASYNC_MASTER+ASYNC_FLUSH的方式。这里我们就用 SYNC_MASTER + ASYNC_FLUSH 的方式了。

集群工作流程
  1. 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
  2. Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
  3. 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
  4. Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
  5. Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。
准备工作 1. 虚拟机环境
  • centos 7
  • rocketmq 4.9.3：RocketMQ安装
2. 服务器环境
序号IP角色架构模式
1192.168.144.133nameserver、brokerserverMaster1、Slave2
2192.168.144.134nameserver、brokerserverMaster2、Slave1

可以先设置虚拟机IP为固定的，防止后面重启了ip变化重新配置的悲剧

3. Host添加信息 
vim /etc/hosts

配置如下:

# nameserver
192.168.144.133 rocketmq-nameserver1
192.168.144.134 rocketmq-nameserver2
# broker
192.168.144.133 rocketmq-master1
192.168.144.133 rocketmq-slave2
192.168.144.134 rocketmq-master2
192.168.144.134 rocketmq-slave1

配置完成后, 重启网卡

systemctl restart network
4. 防火墙配置

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙

# 关闭防火墙
systemctl stop firewalld.service 
# 查看防火墙的状态
firewall-cmd --state 
# 禁止firewall开机启动
systemctl disable firewalld.service

或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：

  • nameserver 默认使用 9876 端口
  • master 默认使用 10911 端口
  • slave 默认使用11011 端口

执行以下命令：

# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent
# 开放master默认端口
firewall-cmd --remove-port=10911/tcp --permanent
# 开放slave默认端口 (当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙
firewall-cmd --reload
5. 环境变量配置 
vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/opt/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

输入:wq! 保存并退出， 并使得配置立刻生效：

source /etc/profile
6. 创建消息存储路径 
mkdir /opt/rocketmq/master-store
mkdir /opt/rocketmq/master-store/commitlog
mkdir /opt/rocketmq/master-store/consumequeue
mkdir /opt/rocketmq/master-store/index

mkdir /opt/rocketmq/slave-store
mkdir /opt/rocketmq/slave-store/commitlog
mkdir /opt/rocketmq/slave-store/consumequeue
mkdir /opt/rocketmq/slave-store/index
  • 后面配置文件中出现的 checkpoint 和 abort 千万不要自己创建，这是文件，让RocketMQ自己生成
broker配置文件

不熟悉vim *** 作，也可以用IDEA 实现远程连接和远程代码编辑上传。

  • 同一台虚拟机上的 Broker 对外服务的监听端口要不一样
  • 同一组的 Broker 的 brokerName要一样，其中brokerId 为 0 表示 Master，>0 表示 Slave
  • Master 和 Slave 消息存储路径要不一样，否则 Broker 启动失败
1. master1

服务器：192.168.144.133

vi /opt/rocketmq/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/master-store
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/master-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/master-store/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/master-store/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/master-store/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/master-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
2. slave2

服务器：192.168.144.133

vi /opt/rocketmq/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/slave-store
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/slave-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/slave-store/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/slave-store/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/slave-store/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/slave-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
3. master2

服务器：192.168.144.134

vi /opt/rocketmq/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/master-store
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/master-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/master-store/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/master-store/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/master-store/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/master-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
4. slave1

服务器：192.168.144.134

vi /opt/rocketmq/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/rocketmq/slave-store
#commitLog 存储路径
storePathCommitLog=/opt/rocketmq/slave-store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/rocketmq/slave-store/consumequeue
#消息索引存储路径
storePathIndex=/opt/rocketmq/slave-store/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/rocketmq/slave-store/checkpoint
#abort 文件存储路径
abortFile=/opt/rocketmq/slave-store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
修改启动脚本文件 1. runbroker.sh 
vi /opt/rocketmq/bin/runbroker.sh

需要根据内存大小进行适当的对JVM参数进行调整：

#===================================================
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
2. runserver.sh 
vim /opt/rocketmq/bin/runserver.sh

我的虚拟机内存为2G，不修改这个文件配置也可以正常启动，如果内存小于2G的话可以再修改：

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
服务启动 1. 启动NameServe集群

分别在 192.168.144.133 和192.168.144.134 启动NameServer

cd /opt/rocketmq/bin
nohup sh mqnamesrv &
2. 启动Broker集群

在192.168.144.133上启动master1和slave2

  • master1：
cd /opt/rocketmq/bin
nohup sh mqbroker -c /opt/rocketmq/conf/2m-2s-sync/broker-a.properties &
  • slave2：
cd /opt/rocketmq/bin
nohup sh mqbroker -c /opt/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

在192.168.14.134上启动master2和slave1

  • master2
cd /opt/rocketmq/bin
nohup sh mqbroker -c /opt/rocketmq/conf/2m-2s-sync/broker-b.properties &
  • slave1
cd /opt/rocketmq/bin
nohup sh mqbroker -c /opt/rocketmq/conf/2m-2s-sync/broker-a-s.properties &
查看日志 
# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log
查看进程状态

启动后通过JPS查看启动进程

192.168.144.133 启动成功

[root@localhost bin]# jps
11040 BrokerStartup
11206 Jps
11176 BrokerStartup
10974 NamesrvStartup

192.168.144.134 启动成功

[root@localhost bin]# jps
11545 Jps
11244 NamesrvStartup
11326 BrokerStartup
11470 BrokerStartup

mqadmin管理工具查看集群信息：

[root@rocketmq-nameserver1 bin]# sh mqadmin clusterList -n localhost:9876
RocketMQLog:WARN No appenders could be found for logger (io.netty.util.internal.InternalThreadLocalMap).
RocketMQLog:WARN Please initialize the logger system properly.
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
rocketmq-cluster  broker-a                0     rocketmq-master1:10911 V4_9_3                   0.00(0,0ms)         0.00(0,0ms)          0 458624.00 0.5400
rocketmq-cluster  broker-a                1     rocketmq-slave2:11011  V4_9_3                   0.00(0,0ms)         0.00(0,0ms)          0 458624.00 0.5400
rocketmq-cluster  broker-b                0     rocketmq-master2:10911 V4_9_3                   0.00(0,0ms)         0.00(0,0ms)          0 458624.00 0.5400
rocketmq-cluster  broker-b                1     rocketmq-slave1:11011  V4_9_3                   0.00(0,0ms)         0.00(0,0ms)          0 458624.00 0.5400

欢迎分享，转载请注明来源：内存溢出

原文地址: http://outofmemory.cn/langs/790025.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
code code 管理员组
0 0
上一篇 2022-05-05
下一篇 2022-05-05

发表评论

登录后才能评论

评论列表（0条）

保存