kafka消息队列

kafka消息队列

kafka是一个消息队列，kafka比较轻便

为什么需要消息队列？

1）解藕

2）冗余

3）扩展性

4）灵活性和峰值处理能力

5）可恢复性

6）顺序保证

7）缓冲

消息队列

1.点对点模式

2.发布订阅模式

Kafka是分布式发布-订阅消息系统

1.缓冲和削峰

2.异步通信

kafka是一个分布式的消息队列，底层是scala来写的

Kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接收者称为consumer，此外kafka集群有多个kafka实例组成，每个实例（server）称为broker。无论kafka集群还是consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性

kafka核心组件：生产者生产消息、消费者消费消息、kafka集群管理消息、zookeeper注册消息      

kafka集群管理消息。   同一个消费组的消费者不能够消费同一个分区

kafka集群和consumer依赖zookeeper

kafka集群中有broker，broker里面有topic，topic里面有partion   

有leader和foller的区分，当leader挂了之后，follwer才开始工作