实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决

实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决 实践数据湖iceberg 系列文章目录

实践数据湖iceberg 第一课.
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式.
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg.
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）.
实践数据湖iceberg 第五课 hive catalog特点.
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决.
实践数据湖iceberg 第七课 实时写入到iceberg.

---

文章目录

实践数据湖iceberg 系列文章目录前言1. 解决方案2. 重跑flink sql总结

---

前言

遇到的问题： 前面3节课，从kafka读数据写入到iceberg，不报错，就是没有数据写成功，
多次查看官网 https://iceberg.apache.org/#flink/， 没有解决方案。

终极解决方案： 增加chepoint配置。没有checkpoint，就没有输出

吐槽： 只看官网，就是笨蛋， 估计官网写文档的人都没有实践过，是否换个人去写官网

---

1. 解决方案

修改配置文件
$Flink_HOME/conf/flink-conf.yaml ，增加checkpoint参数

restart-strategy fixed-delay
restart-strategy.fixed-delay.attempts 3
restart-strategy.fixed-delay.delay 30s
execution.checkpointing.interval 1min
execution.checkpointing.externalized-checkpoint-retention RETAIN_ON_CANCELLATION
state.checkpoints.dir hdfs:///flink/checkpoints
state.backend filesystem

2. 重跑flink sql

前2节课的内容重跑，发现，数据进去data目录

---

总结 遇到问题，官网不行，找找百度