【读者答疑】为啥我创建的topic分区分配不均匀?

【读者答疑】为啥我创建的topic分区分配不均匀?,第1张

【读者答疑】为啥我创建的topic分区分配不均匀?
《Kafka运维管控平台》
✏️更强大的管控能力✏️
更高效的问题定位能力
更便捷的集群运维能力
更专业的资源治理
更友好的运维生态

文末送书

问题描述

问题描述图解

这位朋友的问题是:

  1. 集群有6个Broker
  2. 创建topicA 有60个分区 单副本
  3. Broker-0 中挂载了2个磁盘,有2个目录

为啥创建topicA的时候, 最终分配方式 目录1和目录2不是平均分配呢?

问题解答

这个问题是 分区副本分配策略的问题

分区在Broker层面的分配策略

按照当前的topic分区数量平均分配, 负载均衡, 所以每个Broker都可以分配到 10个分区。

单Broker多目录的分配策略

按照 每个目录总分区数量进行平均分配, 这个时候跟这个Topic的分区数量就没有关系了,而是总数量
假如分配前 目录1就已经存在了10个分区, 而目录2 只有3个,按照分区总数量平均分配策略, 那么现在Broker分配了10个新分区的时候,就会优先把 目录2 分配满了10个,然后再轮流分配。

问题扩展

关于分区副本分配的规则可以简单看下图

具体详情请看文章

  1. 关于分区副本分配的一个Bug

  2. 分区副本分配规则源码解析


再赠8本,欢度每周五

从开始决定送书到现在,我已经送麻了, 又快到周五啦,接着搞, 这次联合北大出版社送书, 周五一口气送
4 」本,。

提供 其中2 款书 (可直接点击链接购买)

  1. 《亿级流量Java高并发与网络编程实战
    ,
  2. 《Java多线程与大数据处理实战》

参与方式:
3. 给本文「一键三连」 支持博主
4. 加抽奖群,参与抽奖 周五开奖!


【编辑推荐】

1)全面。本书从并发的底层核心技术、互联网应用框架、数据处理等三部分对高并发系列技术做了系统讲解。
(2)实用。本书以实战化训练为宗旨,用详尽且经典的案例阐述了 Java大数据及高级编程中的重点、难点。书中案例由真实项目演化而来,既体现了所述知识点的精华,又屏蔽了无关技术的干扰。
(3)案例完整。案例都是以“理论讲解 环境搭建 完整代码及分析 运行截图”这种完善的结构进行讲解,考虑到了读者可能会遇到的各种问题。

参与抽奖

进来参与抽奖

 扫描 下方 关注公众号 参与每周福利

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5688565.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存