《Kafka权威指南》读书笔记1 初始Kafka

《Kafka权威指南》读书笔记1 初始Kafka

小白学习笔记，圈地自萌，请看官轻喷

其实已经在用了，还是自己觉得不从头看点书不正规，所以还是要好好学。

第一章 初始Kafka

就比如古人有很多智慧想传递给我们，不方便（笑）有时间线的交集，所以他们就写诗、写书、唱戏，我们的个人就通过这些资源的载体，得到一些启发。古人很潇洒，他们不关心你是不是受到了启发、受到多少启发；你也很潇洒，古今中外都可以学；书不潇洒，它只管默默的保管那一点点磨痕。可能直到书架放不下，书没看就会被扔掉，也可能一看完就扔掉，还可能直接不买，这些都是策略。

又比如喜欢的明星发微博，你关注了就可以看到，这就是一种发布、订阅的消息系统。暂不考虑你不关注也被迫刷到的艺人、广告，我觉得那个糅合了偏好推荐、热门排序、收费推广等。

kafka就是能做这件事的一本书、一个微博软件，当然它稍微更复杂一点。

【为什么叫kafka】

kafka的架构师jay kreps对于kafka的名称由来是这样讲的，由于Jay Kreps大学时期上过很多文学课程，很喜欢作家franz kafka,并且觉得kafka这个名字很酷，因此取了个和消息传递系统完全不相干的名称kafka。

它总让我想起《海边的卡夫卡》，不过这是村上春树的作品，可能因为我知道的卡夫卡就这两个，实际跟这里没有半毛钱关系。

【一些概念】

kafka服务器 broker；接收消息、设置offset、提交消息到磁盘；
集群：一堆broker在一起；
集群控制器：从一堆broker里的活跃成员里自动选举出来；他作为领导，工作是，管理；比如分配资源（分区）、监控broker
【存疑，有啥用】首领：一个分区属于一个broker，那这个broker就是这个分区的首领
分区复制：一个分区被分配给了多个broker；为了消息冗余，如果一个broker死了，其他的可以接管领导权；不过相关的客户端（生产者、消费者这些小弟）要重新连到新首领 第6章再讲

消息：被传递的就是消息

批次：一组消息打成的包；要控制包的大小，太小了就传的次数多，例如网文作者写一个字就发布一次，让你一更新、得了、看一个字，大家都很累，网络开销很大；太大了虽然传的次数少，但是本来本周可以看到的爽文，你怕是只能等到明年了，明年你或许都不感兴趣了，或者一下出100w字你也懒得看了，这就是消息的滞后性、延迟性。所以要在时间延迟和吞吐量之间做权衡。

消费者consumer 生产者producer ：都是kafka的客户端；写书的人是作者，读书的人是读者，都是阅读平台的打工人，over

模式scheme：JSON啊、XML啊，就是说好了领导给我发美元，哪天开始发他自己画的饼说这个就是约定的消息，我肯定是拒绝的
主题 topic：就是一本书的名字啊，我就要看《甄嬛传》，那么作者在写入，我在定时查看，这就是我俩约定好的topic

键 key：一条消息可以有一个key，也可以没有；有的时候可以控制写入哪个分区
分区 partition：topic里的一块地，是一个单向队列，先入先出FIFO，可以理解为一章
偏移量 offset 分区级别的概念，就是你第三章我读到了第5页，这个5就是偏移量；这个值，是只能递增的整数值，跟人生一样，不能回头。Kafka会把它加在消息里，消费者在每个分区的offset会保存在Zookeeper或Kafka上，方便下次继续读，所以也不受消费者关闭/重启的影响
消费者群组 consumer group 比如一个业务A生产消息到topic1，业务B有16个服务器去消费消息，那么可以把这16个作为一个群组。群组的作用，是保证每个分区只能被一个消费者群组使用；如果不使用群组，那就同一条消息，每个消费者都能消费一次，看业务是不是需要重复消费了。

所有权关系 ：指消费者与分区之间的映射，比如一个消费者A读一个分区，B读两个。其实就是分工嘛，看图

保留消息 Retained Messages:消息保留策略，要么保留一段时间（比如7天），要么保留的消息到一定大小的字节数（比如1GB），旧消息就会被删除。

多集群：没看

【1.3 为什么选择Kafka】

因为他支持多个生产者、

多个消费者、

允许非实时的读取——基于数据保留特性，有自己的持久化策略

伸缩性——从单个broker，到3个、更多个broker，不影响整体系统的可用性

基于以上的特性，他能处理大消息流，有高性能。

【1.4 数据生态系统】

这个图很有意思，就是可以使用的几个业务场景的例子；最近刚好用到pulsar + flink的组合，为什么用pulsar而舍弃了kafka呢，回头我再研究一下写写。还有书里写的流处理，Haddop这几年火的不行，我还不懂。