flink 关键知识点

flink 关键知识点 乱序问题解决 time watermark 容错 重启策略 state 什么是flink state flink state用来做什么 flink state 怎么用 checkpoint checkpiint流程

jobManage cpCondate – 触发 --> taskManage: traginCheckpoint --> source --> emit branine --> opetatte: branie对齐 == snapshotState ==持久化到backend --> 返回 stateHadle到 jobmange --> 继续下一个算子 brain对齐，shnaspshotState，ack JM – … --> sink

checkpoint

两阶段提交

checkPonitLisen
等待所有算子state shnapshot完成并持久化到backend 并 ack JM ， JM 收到所有算子 stateshop 完成后触发 notifyComplie

savepoint

at most once
at last once
exactly once
e2e exactly

workflow（DAG）生成流程 资源管理 flink on yarn