Kafka基本概念

1、为了方便拓展，并提高吞吐量，一个topic分为多个partition，每个服务器中只存储一部分数据，broker可以理解为服务器。

2、配合分区的设计，提出消费者组的概念，组内每个消费者并行消费，但是一个分区的数据，仅仅允许一个消费者进行消费

3、为提高可用性，为每个partition增加若干副本，避免一个服务器挂掉，无法提供服务，每个消费者消费时，仅仅对leader节点进行消费，当leader挂掉，follower可以称为leader

kafka里还有一些信息存储在zookeeper中，其中记录着整个kafka中那些服务器正在运行，也会记录每个分区谁是leader，kafka2.8.0以后也可以配置不采用zk。