怎么设置kafka topic数据存储时间

怎么设置kafka topic数据存储时间,第1张

1、Kafka创建topic命令很简单,一条命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。

2.此命令将创建一个名为test的topic,其中有三个分区,每个分区需要分配三个副本

三。topic创建主要分为两部分:命令行controller逻辑部分。

四。后台逻辑将监听zookeeper下对应的目录节点。一旦启动topic创建命令,它将创建一个新的数据节点并触发后台创建逻辑。

五个。确定分区副本分配方案(即,将每个分区副本分配给哪个代理);创建zookeeper节点并将此方案写入/brokers/topics/<topic>节点。

五个。确定分区副本分配方案(即每个分区的副本分配给哪个分区)broker上);创建zookeeper节点,把这个方案写入/brokers/topics/<topic>节点下。

6、Kafka controller这一部分的主要任务是:创建分区;创建副本;为每个分区选择leaderISR;;更新各种缓存。

kafka默认的只保存7天的数据,时间一到就删除数据,当遇到磁盘过小,,存放的数据量过大,可以设置缩短这个时间。

查看设置

立即删除某个topic下面的数据


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/11262336.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-14
下一篇 2023-05-14

发表评论

登录后才能评论

评论列表(0条)

保存