Kafka初始,架构模型,角色功能梳理

Kafka初始,架构模型,角色功能梳理,第1张

Kafka初始,架构模型,角色功能梳理


X轴对应单点问题,一台机器容易挂掉,那么就集群部署
Y轴主要解决的还是 性能问题,当数据量达到一定的时候,性能就下降,我们可以 根据业务来分集群
Z轴 就是kafka的Partition(分区),每个分区都有leader主机号
为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上, 一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列(MR的partition可以提高reducer的并发、Hive的partition有助于在查询时提高效率),这里的partition是有助于提高消息队列的负载均衡。


可以理解为一个topic就对应一个业务,topic对应是逻辑的,partition对应物理的
无关的数据就分散到不同的分区里,以追求并行并发

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5718483.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-18

发表评论

登录后才能评论

评论列表(0条)

保存