kafka的消息存储?

kafka的消息存储?,第1张

kafka的消息存储?

kafka的消息存储在磁盘上,一个kafka topic分为一个或多个partition,每个partition单独存储自己的消息数据

partition将数据记录到.log文件中,为了避免文件过大影响查询效率,将文件分段处理

记录消息到.log文件中的同时,会记录消息offset和物理偏移地址的映射作为索引,提升查找性能;

这个索引并不是按消息的顺序依次记录的,而是每隔一定字节的数据记录一条索引,降低了索引文件的大小

kafka查找消息时,只需要根据文件名和offset进行二分查找,找到对应的日志分段后,查找.index文件找到物理偏移地址,然后查.log读取消息内容

欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/zaji/4887011.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-11-11
下一篇 2022-11-11

发表评论

登录后才能评论

评论列表(0条)

保存