RabbitMQ-消息堆积&高可用

前置文章：

RabbitMQ-消息可靠性&延迟消息

一、MQ常见问题

二、消息堆积-惰性队列

1、消息堆积问题

2、解决消息堆积方法

3、惰性队列

三、高可用-MQ集群

1、集群分类

2、普通集群

3、镜像集群

4、冲裁队列

确保发送的消息至少被消费一次；

实现消息的延迟投递；

处理消息无法及时消费的问题；

避免单点MQ故障导致整体不可用；

1、消息堆积问题

当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。最早接收到的消息，可能就会 成为死信 ，会 被丢弃 ，这就是消息堆积问题。

2、解决消息堆积方法

3、惰性队列

从RabbitMQ的3.6.0版本开始，就增加了Lazy Queues的概念，也就是惰性队列。

Ⅰ 接收到消息后直接 存入磁盘 而非内存；

Ⅱ 消费者要消费消息时才会 从磁盘中读取 并加载到内存；

Ⅲ 支持 数百万条 的消息存储。

要设置一个队列为惰性队列，只需要在声明队列时，指定x-queue-mode属性为lazy即可。

Ⅰ 可以通过命令行将一个运行中的队列修改为惰性队列，如下：

rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues

Ⅱ 用SpringAMQP声明惰性队列，如下：

@Bean注解的形式，如下：

@RabbitListener注解的形式，如下：

Ⅰ 优点

基于磁盘存储，消息上限高；

没有间歇性的page-out，性能比较稳定；

Ⅱ 缺点

基于磁盘存储，消息时效性会降低；

性能受限于磁盘的IO。

官方文档： Clustering Guide — RabbitMQ 。

1、集群分类

是一种 分布式集群 ，将队列分散到集群的各个节点，从而提高整个集群的并发能力。

是一种 主从集群 ，普通集群的基础上，添加了主从备份功能，提高集群的数据可用性。

注意：镜像集群虽然支持主从，但主从同步并不是强一致的，某些情况下可能有数据丢失的风险。

在RabbitMQ的3.8版本以后推出的，底层采用Raft协议确保主从的数据一致性。

2、普通集群

Ⅰ 会在集群的各个节点间共享部分数据，包括：交换机、队列元信息。不包含队列中的消息；

Ⅱ 当访问集群某节点时，如果队列不在该节点，会从数据所在节点传递到当前节点并返回；

Ⅲ 队列所在节点宕机，队列中的消息就会丢失。

Ⅰ 获取Cookie

RabbitMQ底层依赖于Erlang，而Erlang虚拟机就是一个面向分布式的语言，默认就支持集群模式。集群模式中的每个RabbitMQ 节点使用 cookie 来确定它们是否被允许相互通信。

要使两个节点能够通信，它们必须具有相同的共享秘密，称为 Erlang cookie 。cookie 只是一串最多 255 个字符的字母数字字符。

每个集群节点必须具有 相同的 cookie 。实例之间也需要它来相互通信。

首先获取Cookie，指令如下：

其中 YYNCLCJEKVNUFYQFPNZH 这一串就是生成的Cookie，如下：

Ⅱ 删除现有mq容器

Ⅲ 准备rabbitmq.conf配置文件

此处选择在tmp目录下创建，如下：

配置文件内容如下：

Ⅳ 准备Cookie记录文件

Ⅴ 准备集群目录

Ⅵ 拷贝配置文件、Cookie文件到目录

echo ：用于字符串的输出，输出字符串到 | 后面；

-t ：表示先打印命令，再执行；

-n 1 ：表示执行命令时用的args个数为1个。

Ⅶ 创建集群网络

Ⅷ 运行容器

集群中的节点标示默认都是： rabbit@[hostname] 。

Ⅰ 往rabbit@mq1添加队列

在mq2、mq3中也可以查看到该队列，因为元信息共享。

Ⅱ 往simple.queue添加数据

在mq2、mq3中可以查看到消息，如下：

Ⅲ 让mq1宕机

mq2、mq3无法读取到数据，因为只共享元信息，没有同步备份数据，如下：

3、镜像集群

镜像集群官方文档： Classic Queue Mirroring — RabbitMQ 。

普通集群不具备高可用的特性，使用镜像集群可以解决这个问题。

Ⅰ 镜像队列结构是一主多从（从就是镜像）；

Ⅱ 所有 *** 作都是主节点完成，然后同步给镜像节点；

Ⅲ 主宕机后，镜像节点会替代成新的主（如果在主从同步完成前，主就已经宕机，可能出现数据丢失）；

Ⅳ 不具备负载均衡功能，因为所有 *** 作都会有主节点完成（但是不同队列，其主节点可以不同，可以利用这个提高吞吐量）。

Ⅰ 设置exactly模式

Ⅱ 创建队列

Ⅲ 发送消息

Ⅳ 让mq1宕机

注意：mq1恢复后，该队列的主节点仍然为mq3。

4、冲裁队列

Ⅰ 与镜像队列一样，都是主从模式，支持主从数据同步；

Ⅱ 使用非常简单，没有复杂的配置；

Ⅲ 主从同步基于Raft协议，强一致。

注意：仲裁队列是3.8版本以后才有的新功能。

+2表示有2个镜像节点，仲裁队列默认镜像数为5，集群节点不足5则都是镜像。

@Bean注解配置

修改配置文件

以上即为RabbitMQ-消息堆积&高可用的全部内容，感谢阅读。

1.允许消费者和生产者在RabbitMQ节点崩溃的情况下进行

2.通过添加更多节点来线性扩展消息通信的吞吐量

1.队列元数据：队列名称和它们的属性（是否可持久化，是否自动删除）

2.交换器元数据：交换器名称、类型、属性（是否持久化）

3.绑定元数据：一张表格，展示如何将消息路由到队列

4.vhost元数据：vhost内的队列、交换器和绑定提供命名空间和安全属性

1.单一节点的RabbitMQ会将所有的内部元数据存储在内存中，同时，将标记为可持久化的队列和交换器以及它们的绑定存储在硬盘上

2.引入RabbitMQ集群后：RabbitMQ需要追踪新的元数据，即集群节点位置、以及节点与已记录的其他类型元数据的关系

3.在RabbitMQ集群中可以选择将元数据存储至磁盘中或者存储在RAM中

1.不是每一个节点都有所有队列的完全拷贝

2.队列的信息（元数据、状态和内容）只会存在于其所有者的单节点而不会在其他非所有者的节点中存在

3.非所有者的节点只知道队列的元数据和指向该队列的所有信息的指针。

4.当集群节点崩溃时，该节点的队列和关联的绑定就会消失。

1.存储空间

2.性能：消息的发布需要将消息复制到备一个集群节点。对于持久化的消息来说，每条消息都会触发磁盘活动。没新增一个节点网络和磁盘的负载都会增加。

1.交换器只是一张查询报，是名称和队列的绑定表，不是实际上的消息路由器，信道才是实际的消息路由器

2.创建一个新的交换机，会在集群的所有节点上复制一份，所以每个节点都可访问到新的交换器

3.当消息已经发布，在路由完成之前节点故障可以通过“事务”或者“发送方确认”机制保证数据不丢失

1.在RabbitMQ中，节点要么是内存节点，要么是磁盘节点

2.内存节点：将所有的队列、交换器、绑定、用户、权限和vhost元数据定义都为仅存储在内存中

3.磁盘节点：将元数据存储在磁盘中

4.单节点应用智能是磁盘节点，否则每次重启后，节点的配置都会消失

5.RabbbitMQ集群中至少有一个磁盘节点，其他节点都可以为内存节点；磁盘节点保证集群配置免于重启，内存节点保证性能。

1.由于RabbitMQ不会将队列复制到所有节点，所以我们可以使用RabbitMQ提供的镜像概念去为队列去创建一个镜像队列，镜像队列会有一个主拷贝，这个主拷贝仅存在一个节点上(主队列)；镜像节点在集群中的其他节点有从拷贝（从队列）。

---