面试必问 | 聊聊Kafka的消费模型？

大家好，我是冰河~~

最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？ 看似一个简单的问题，竟然把这位读者问懵了！

今天，我们就一起来说说这个面试题，好了，开始今天的主题。

题目分析

首先，要明确面试官的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据？ 这个问题问的已经很明显了，我们只要回答出如何让多个Kafka消费者同时消费相同Topic下的相同Partition的数据就可以了。

为了能够回答好这个问题，我们需要理解Kafka中的一个概念，就是 消费者组（Consumer Group）。消费者组是Kafka实现单播和广播两种消息模型的基础和手段。

对于同一个Topic（主题）来说，每个消费者组都可以拿到这个Topic中的全部数据。消费者组内的所有消费者协调在一起来订阅并消费Kafka Topic中的所有分区。这里，每个分区只能由同一个消费者组内的一个消费者来消费。

这里，为了更好的理解，我们简单的画一张Kafka消费消息的原理图，如下所示。

在这张图中，一个主题可以配置几个分区，生产者发送的消息分发到不同的分区中，消费者接收数据的时候是按照消费者组来接收的，Kafka确保每个分区的消息只能被同一个消费者组中的同一个消费者消费。

如果想要重复消费，那么需要其他的消费者组来消费。Zookeerper中保存每个主题下的每个分区在每个消费者组中消费的offset。

新版kafka把这个offset保存到了一个__consumer_offsert的主题下。 这个__consumer_offsert有50个分区，通过将消费者组的id哈希值%50的值来确定要保存到那一个分区。这样也是为了考虑到Zookeeper不擅长大量数据读写的原因。

所以，如果要一个消费者组用几个消费者来同时消费Kafka中消息的话，可以使用多线程来读取消息，一个线程相当于一个消费者实例。当消费者的数量大于分区的数量时，有些消费者线程会读取不到数据。

扩展知识

这里，我们举一个例子：假设一个主题 testTopic 被groupA消费了，现在启动另外一个新的groupB来消费testTopic，默认testTopic-groupB的Offset不是0，而是在Kafka中还没有建立这样的一个Offset。

除非当testTopic 主题有数据的时候，groupB会收到该数据，该条数据也是第一条数据，此时，groupB的Offset并不是从0开始的，而是从刚初始化的Offset开始的, 除非显式的用–from-beginning 来获取从0开始的数据。

题目解答

多个Kafka消费者要想同时消费相同Topic下的相同Partition的数据，则需要将这些Kafka消费者放到不同的消费者组中。

好了，今天就到这儿吧，我是冰河，我们下期见~~

写在最后

如果你想进大厂，想升职加薪，或者对自己现有的工作比较迷茫，都可以私信我交流，希望我的一些经历能够帮助到大家~~

推荐阅读：

• 《实践出真知：全网最强秒杀系统架构解密，不是所有的秒杀都是秒杀！！》
• 《从零到上亿用户，我是如何一步步优化MySQL数据库的？（建议收藏）》
• 《我用多线程进一步优化了亿级流量电商业务下的海量数据校对系统，性能再次提升了200%！！（全程干货，建议收藏）》
• 《我用多线程优化了亿级流量电商业务下的海量数据校对系统，性能直接提升了200%！！（全程干货，建议收藏）》
• 《我用10张图总结出了这份并发编程最佳学习路线！！（建议收藏）》
• 《高并发场景下一种比读写锁更快的锁，看完我彻底折服了！！（建议收藏）》
• 《全网最全性能优化总结！！（冰河吐血整理，建议收藏）》
• 《三天撸完了MyBatis，各位随便问！！（冰河吐血整理，建议收藏）》
• 《奉劝那些刚参加工作的学弟学妹们：要想进大厂，这些并发编程知识是你必须要掌握的！完整学习路线！！（建议收藏）》
• 《奉劝那些刚参加工作的学弟学妹们：要想进大厂，这些核心技能是你必须要掌握的！完整学习路线！！（建议收藏）》
• 《奉劝那些刚参加工作的学弟学妹们：这些计算机与 *** 作系统基础知识越早知道越好！万字长文太顶了！！（建议收藏）》
• 《我用三天时间开发了一款老少皆宜的国民级游戏，支持播放音乐，现开放完整源代码和注释（建议收藏）！！》
• 《我是全网最硬核的高并发编程作者，CSDN最值得关注的博主，大家同意吗？（建议收藏）》
• 《毕业五年，从月薪3000到年薪百万，我掌握了哪些核心技能？（建议收藏）》
• 《我入侵了隔壁妹子的Wifi，发现。。。（全程实战干货，建议收藏）》
• 《千万不要轻易尝试“熊猫烧香”，这不，我后悔了！》
• 《清明节偷偷训练“熊猫烧香”，结果我的电脑为熊猫“献身了”！》
• 《7.3万字肝爆Java8新特性，我不信你能看完！（建议收藏）》
• 《在业务高峰期拔掉服务器电源是一种怎样的体验？》
• 《全网最全Linux命令总结！！（史上最全，建议收藏）》
• 《用Python写了个工具，完美破解了MySQL！！（建议收藏）》
• 《SimpleDateFormat类到底为啥不是线程安全的？（附六种解决方案，建议收藏）》
• 《MySQL 8中新增的这三大索引，直接让MySQL起飞了，你竟然还不知道！！（建议收藏）》
• 《撸完Spring源码，我开源了这个分布式缓存框架！！（建议收藏）》
• 《亿级流量高并发秒杀系统商品“超卖”了，只因使用的JDK同步容器中存在这两个巨大的坑！！（踩坑实录，建议收藏）》
• 《奉劝那些刚参加工作的学弟学妹们：要想学好并发编程，这些并发容器的坑是你必须要注意的！！（建议收藏）》
• 《公司的报表工具太难用，我三天撸了个Excel工具，运营小姐姐直呼太好用了，现已开源！！（建议收藏）》
• 《奉劝那些刚参加工作的学弟学妹们：要想进大厂，这些并发编程核心技能是你必须要掌握的！！（建议收藏）》
• 《阿里面试官：高并发大流量秒杀系统如何正确的解决库存超卖问题？（建议收藏）》
• 《Redis五大数据类型与使用场景汇总！！（含完整实战案例，建议收藏）》

好了，今天就到这儿吧，小伙伴们点赞、收藏、评论，一键三连走起呀，我是冰河，我们下期见~~