Kafka总结

Kafka总结,第1张

Kafka总结

同一个主题的不同分区包含的消息是不同的。Kafka 保证的是分区有序而不是全局有序。topic 是逻辑上的概念,partition是物理上的概念,因为每个partition 都对应于一个.log文件存储在kafka 的log目录下,该log 文件中存储的就是producer 生产的数据。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费。一般分区数和消费者数保持相等,如果这个主题的消费者数大于主题的分区数,那么多出来的消费者将消费不到数据,只能浪费系统资源。生产者生产的消息会不断追加到log 文件末尾,为防止log 文件过大导致数据定位效率低下,Kafka 采取了分片和索引机制,将每个partition 分为多个segment。每个segment都有对应的.index文件和.log文件以及.timeindex文件。kafka高效读写的原因之一在于使用了顺序写磁盘技术和零拷贝技术。

 

生产者 生产者发送消息时的分区原则如下:
    构造器中指明 partition 时,直接将指定值作为 partition值;没有指明partition值但有key的情况下,将key的hash值与topic 的 partition 数进行取余得到 partition 值;既没有指定 partition 值又没有传入 key 值时,第一次调用时随机生成1个整数(后面每次调用在这个整数上自增),并与这个topic的partition数取模得到partition值,即采用round-robin 算法。
ISR

一个主题的分区中所有的副本集合称之为AR(Assigned Replicas)。leader节点维护了一个动态的集合,即in-sync replica set (ISR),指的是和leader保持一定程度同步的follower集合(包括leader节点在内)。与leader副本同步滞后过多的副本组成OSR(Out-of-Sync Replicas)集合,因此AR=ISR+OSR。正常情况下所有的follower都应该和leader保持一定程度的同步,即AR=ISR。

ACK确认机制

acks=1,即默认配置。生产者发送消息后,只要分区的leader副本成功写入消息,就会收到服务器的ack成功响应。如果消息写入leader失败,比如leader已经挂了,正在重新选举,此时生产者客户端会收到错误响应,可以进行重发。如果写入leader成功、follower同步完成之前leader挂了,将会出现消息丢失。所以acks=1是Kafka消息可靠性和吞吐量之间的折中方案,一般也是默认的配置。
acks=0,生产者发送消息之后无需等待任何服务端的响应。如果在消息从发送到写入Kafka 的过程中出现某些异常,导致Kafka 并没有收到这条消息,那么生产者也无从得知,消息也就丢失了。在其他配置环境相同的情况下,acks=0 可以使Kafka达到最大的吞吐量。
acks=-1,和acks=all效果一样。生产者在消息发送之后,需要等待ISR 中的所有副本都成功写入消息之后才能够收到来自服务端的ack响应。在其他配置环境相同的情况下,acks 设置为-1 可以达到最高的数据可靠性。但是如果在follower 同步完成后,broker给生产者客户端发送ack之前,leader发生故障,将会造成数据重复。

Exactly once

将acks级别设置为-1,可以保证producer和kafka server之间不丢失数据,即保证At least once 语义。
acks级别设置为0,可以保证每条消息只会发送1次,不会重复,即At most once语义。
有些场景下,数据的消费者要求数据既不丢失也不重复,即Exactly Once语义。0.11版本的 Kafka,引入了一项重大特性:幂等性。即不论producer向server发送多少次重复数据,server端只会持久化1条。将producer中的enable.idompotence参数设为true即可开启幂等性。开启幂等性的Producer在初始化的时候会分配一个pid,发往同一个Partition的消息会附带sequence number。Kafka服务端,即broker端会对做缓存,当具有相同键的消息提交时,broker只会持久化一条。但是PID重启就会变化,并且不同的Partition具有不同的键,所以kafka的幂等性无法保证跨分区、跨会话的Exactly Once。

消费者 消费者消费策略

Range(默认)和Robin
RoundRobin 轮询分区策略,是把所有的 partition 和所有的 consumer 都列出来,然后按照 hascode 进行排序,最后通过轮询算法来分配 partition 给到各个消费者。
轮询分区分为如下两种情况:
1.同一消费组内所有消费者订阅的topic都是相同的
2.同一消费者组内的消费者订阅的消息有不相同的

消费位移

消费位移必须做持久化保存,而不是单单保存在内存中,否则消费者重启之后就无法知晓之前的消费位移。Kafka 0.9 版本之前,consumer 默认将offset 保存在Zookeeper 中,新版consumer客户端 默认将offset 保存在Kafka 内置的主题 __consumer_offsets中。通常把将消费位移存储起来(持久化)的动作称为“提交”,消费者在消费完消息之后需要执行消费位移的提交


问题 一个分区只能由一个消费者组中的一个消费者消费? 日志log文件的.log和.index的索引过程?

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5716032.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-18
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存