【Flink】FLink checkpoint 某个 subtask 特别耗时 DisconnectException: null

【Flink】FLink checkpoint 某个 subtask 特别耗时 DisconnectException: null

文章目录

• 1.概述

1.概述

遇到有遇到过这种情况的么？某个subtask的ck时间总是比其他的subtask久很多，检查各个subtask的消费，也没有数据倾斜，好几次ck超时都是被这个subtask拖垮的

日志开始报org.apache.kafka.common.errors.DisconnectException: null，调整request.timeout.ms后就不怎么报了。

TM的PS_Scavenge次数较大，但是3个TM都较大，唯独每次都是同一个subtask的ck时间较突出。

作业背压在kafka source端，下游数据处理也没有背压啊。

我觉得调大request.timeout，虽然kafka不超时了，但是拖得时间