consumer线程简介

consumer线程简介

consumer有2个线程，其中一个是heartbeat线程用来跟broker中的group coordinator保持心跳状态。另一线程线程负责consumer的所有动作。我们主要分析fetch数据的流程。

consumer的cpu消耗

• 构造fetch请求对象和序列化
• 网络发送和接收数据
• fetch response反序列化
• record数据解压
• 用户的数据处理逻辑

构造fetch请求对象和序列化

1.根据订阅的分区生成fetch对象，需要去除

• 正在发送的broker上的topic partition
• 正在读区的topic parition
• 已经返回了response的topicparition

将剩余的fetch对象按broker分组，构造fetch request准备发送。

2.有数据的情况下根据max poll record从fetch到的record缓存中获取records返回，在返回前会继续发送fetch请求，这样就可以提前预读已经获取的分区上的数据。

fetch response反序列化

1.将从网络上接受到的Bytebuffer数据序列化成FetchResponse。

2.将fetch response按topic partition拆解，这个结果包含n个之前在producer端打包好的recordbatch的数据 ,将结果放在completed fetches队列中

record数据解压

1.获取一个completed fetches中的数据。

2.对数据解压。解压的过程可看作3层拆包。

• 第一层拆包分解出原recordbatch的数据，
• 第二程拆包将一个recordbatch的数据解压得到record原始数据，（cup消耗重点）
• 第三层将record数据通过key value serialize序列化成consumer record对象

consumer的内存消耗

• consumer最大内存使用在completed fetches队列中。按照fetch请求单个分区最大1m估算。completed fetches中内存的最大是1m * partition总数。但是如果用户max poll record调太大会导致预读更多数据，从而增加内存消耗。
• 在网络接收response时会new 2片Bytebuffer，用来存储response
• 值得称赞的是。lz4解压的临时内存是可以reruse的。大小64k
• 在处理每个record的过程中会new一片内存。大小为reocrd size
• 每个recordbatch都会生成一个lz4inputstream对象

国内最大最权威的 Kafka中文社区 ，在这里你可以结交各大互联网Kafka大佬以及近2000+Kafka爱好者，一起实现知识共享，实时掌控最新行业资讯，免费加入中~