RocketMQ的Rebalance机制

RocketMQ的Rebalance机制

Rebalance机制本意是为了提升消息的并行处理能力。例如，一个Topic下5个队列，在只有1个消费者的情况下，那么这个消费者将负责处理这5个队列的消息。如果此时我们增加一个消费者，那么可以给其中一个消费者分配2个队列，给另一个分配3个队列，从而提升消息的并行处理能力。

Rebalance限制
由于一个队列最多分配给一个消费者，因此当某个消费者组下的消费者实例数量大于队列的数量时，多余的消费者实例将分配不到任何队列

Rebalance危害
消费暂停：考虑在只有Consumer 1的情况下，其负责消费所有5个队列；在新增Consumer 2，触发Rebalance时，需要分配2个队列给其消费。那么Consumer 1就需要停止这2个队列的消费，等到这两个队列分配给Consumer 2后，这两个队列才能继续被消费。
重复消费：consumer1 消费消息，consumer2加入，分配新的队列消费。必须接着从Consumer 1之前已经消费到的offset继续开始消费。默认情况下，当消费完之后，消息总是异步发送给Broker,broker收到ack后更新消费到的offset。如果consumer 1当前消费到offset为10，但是异步提交给broker的offset为8；那么如果consumer 2从8的offset开始消费，那么就会有2条消息重复。也就是说，Consumer 2 并不会等待Consumer1提交完offset后，再进行Rebalance，因此提交间隔越长，可能造成的重复消费就越多。
消费突刺：由于rebalance可能导致重复消费，如果需要重复消费的消息过多；或者因为rebalance暂停时间过长，导致积压了部分消息。那么都有可能导致在rebalance结束之后瞬间可能需要消费很多消息。

订阅消费异常：项目发布，新增了topic，一个消费组上线顺序不同，重复注册相同topic，会覆盖之前关于相同topic的订阅。以op配置为准。参考https://blog.csdn.net/a417930422/article/details/50663639