本地安装测试Kafka遇见的问题

本地安装测试Kafka遇见的问题

文章目录

1.zk启动失败导致Kafka.zookeeper.ZooKeeperClientTimeOutException2.zk启动失败：Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain3.Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected4.Kafka启动InconsistentClusterIdException5.消费消失：Bootstrap broker localhost:2181 (id: -1 rack: null) disconnected6.测试

zookeeper下载地址
kafka下载地址

1.zk启动失败导致Kafka.zookeeper.ZooKeeperClientTimeOutException

问题：连接zk客户端超时。查看zk启动日志，发现启动失败，

2.zk启动失败：Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain

问题原因：下载了没有经过编译的源码包。

3.Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected

修改配置kafka配置文件，conf/server.properties文件。

4.Kafka启动InconsistentClusterIdException

kafka配置日志路径，用来保存执行过程中的各种信息，当kafka异常关闭时，日志记录就会出现异常，会把当时的情况记录到meta.properties文件中，重新启动时此文件会对启动造成影响，kafka重启报错的原因就在这里。

找到conf/server.properties配置文件中的log.dirs设置的位置，删除日志目录下的meta.properties文件

5.消费消失：Bootstrap broker localhost:2181 (id: -1 rack: null) disconnected

报错原因：以前消费者监听的端口是2181，新版本的kafka对zk的依赖没有那边强烈，所有自己改为9092.

6.测试

1、启动zk：./zkServer.sh start

2、启动kafka：bin/kafka-server-start.sh config/server.properties

3、创建主题：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

4、查看主题：bin/kafka-topics.sh --list --zookeeper localhost:2181

5、生产消息：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

6、消费消息：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning