kafka常用命令

kafka常用命令

# 创建topic

bin/kafka-topics --create --topic mytopic --replication-factor 1 --partitions 5 --zookeeper real-time-002:2181/kafka  

# 查看topic list
bin/kafka-topics --list --zookeeper real-time-002:2181/kafka

# 查看topic具体信息
bin/kafka-topics --describe --zookeeper real-time-002:2181/kafka --topic kafkatestInfoApply_qinghua5 


# console-consumer 消费者
bin/kafka-console-consumer --bootstrap-server 10.1.30.8:9092 --from-beginning --topic mytopic

# console-producer 生产者
bin/kafka-console-producer --broker-list 10.1.30.8:9092 --topic mytopic


# kafka出问题
/var/local/kafka/data 这个是kafka数据存放位置 
用 du -sh * 查看 各个文件的大小，删除，重启kafka

# 查看topic目前的策略
kafka-configs.sh --zookeeper hadoop102:2181 --describe --entity-type topics --entity-name dwd_page_log

# 删除topic
kafka-topics.sh --delete --topic dwd_page_log --zookeeper hadoop102:2181

# 设置topic数据的保留时间 比如1s 实现删除数据
kafka-configs.sh --zookeeper hadoop102:2181 --entity-type topics --entity-name mytopic --alter --add-config retention.ms=1000

# 删除上面设置的保留时间的策略
kafka-configs.sh --zookeeper hadoop102:2181 --entity-type topics --entity-name mytopic --alter --delete-config retention.ms

删除kafka topic的 *** 作

1.设置topic数据的留存时间为1s，删除topic的数据
	kafka-configs.sh --zookeeper hadoop102:2181 --entity-type topics --entity-name mytopic --alter --add-config retention.ms=1000
	
2.删除topic 
	kafka-topics.sh --delete --topic dwd_page_log --zookeeper hadoop102:2181
3.删除zk中的信息
	zkCli.sh -server hadoop102:2181,hadoop103:2181,hadoop104:2181 删除 rmr /brokers/toipcs/xxx

删除kafka topic的终极 *** 作

1.停止kafka集群，删除集群中kafka数据的logs data
2.进入zk zookeeper-3.4.10/bin/zkCli.sh -server hadoop102:2181,hadoop103:2181,hadoop104:2181 删除 rmr /brokers
3.重启zk
4.重启kf