flink 消费kafka数据写入pg库表的数据无法回撤

flink 消费kafka数据写入pg库表的数据无法回撤 flink 消费kafka数据写入pg库表的数据无法回撤

架构描述：

1、实时数仓分层：ods->dwd->dws->出BI报表
2、ods层 
	 使用debezium采集pg数据写到kafka，debezium 过滤物理删除 *** 作[不监控pg库物理删除] ； 且部分 ods 表使用了union all 
3、dwd层
	flink 实时消费kafka数据[ods]写入dwd 【双写：1.计算后重新写回kafka ; 2.写到pg库】
4、dws层
	flink 实时消费 kafka 数据[dwd 的topic ] , 计算后写入写到pg库[dws层]

场景描述：

ods 层任务：
1、flink 消费 kafka ods 的数据 A ， A 是由 A1 union all A2 计算而得 ； B 是由 B1 union all B2 计算而得  
2、A1 、A2 表中，存在 deleted 字段， deleted = true 是数据软删； deleted is false 是正常使用的数据

dwd 任务：
1、A join B 计算得到 C

任务恢复
1、dwd 任务从checkpoint启动

报错描述：

1、经过flink 计算后写入A表数据多了一条A''；要进行删除A''，让数据回撤
2、补了一条A表的A'' 的删除记录，即 deleted is true ；发现数据没有回撤

原因分析：

1、dwd 任务从checkpoint 恢复启动，checkpoint 中相对记录状态丢失，即当前flink 任务状态关于记录A'' 的状态丢失了 [目前只是推测]

解决：

1、先补一条A表的A'' 的deleted is false 的记录，让当前状态由关于表A 的A''记录的状态存在
2、先补一条A表的A'' 的deleted is true 的记录，让当前状态由关于表A 的A''记录的状态与补进来的数据做对比，让数据回撤