【总结】Kafka消费者——分区分配策略

【总结】Kafka消费者——分区分配策略 前言

一个 consumer group 中有多个 consumer ，一个 topic 有多个 partition ，所以必然会涉及 到 partition 的分配问题，即确定哪个 partition 由哪个 consumer 来消费。 Kafka 有两种分配策略，一是 RoundRobin ，一是 Range 。

RoundRobin 1.单个主题的分区分配

 2.多个主题的分区分配

Kafka将所有主题当成一个整体，利用TopicAndPartition方法对所有分区进行哈希计算，将计算结果排序后再进行整体轮巡。总而言之，RoundRobin（轮巡）的方法是将主题作为一个整体进行轮巡。

3.优缺点

优点：由于采用整体轮巡的方法，使得各个消费者之间的消费量差异并不大。

缺点：如果消费者组面对多个主题，可能出现不符合业务逻辑的情况。例如：

第一行是主题，第二行是分区，第三行是消费者

如果业务逻辑是让消费者A只获取T1的数据，那么整体轮巡的方法将让A也能获得T2的数据。同理，B也能获得T1的数据。

因此，RoundRobin的适用场景是 消费者订阅了所有主题，每个消费者之间所消费的数据量差异较小。

Range

范围轮巡，即每次针对同一主题进行轮巡，如下图：

 

 

总结

         两种分区分配策略各有优缺点，Kafka默认使用Range策略，至于实际生产中使用哪一种，需要根据业务逻辑进行选择。