flink sql 的 sourcesink 原理

flink sql 的 source / sink 原理

文章目录

• • • source

source

对于flink sql 中的source 无奈就两种
.流表 比如数据源是kafka 或者mq等动态数据源
维表数据源是mysql/hbase/redis等静态数据源

datastream 定义一个source的基本内容

1. source , sink 的connector 连接配置信息(sql中connector)
2. source , sink的序列化方式信息(sql 中format字段)
3. source,sink的字段信息 (sql source ,sink field 信息)
4. source, slink对象 (sql 中 source、sink catalog_name、db_name、table_name)
   例如:
   

https://ci.apache.org/projects/flink/flink-docs-release-1.14/zh/docs/dev/table/sql/create/#create-table


metadata: 将sql create source table 转化为实际的CataLogTable 翻译为RelNode
PLanning: 创建RelNode的过程中使用SPI 将所有的source( DynamicTableSource) 和sink (DynamicTableSinkFactory) : 工厂动态加载获取到 connector=kafka,然后从所有source工厂中过滤出名称为kafka 同时继承 DynamicTableSourceFactory.class 的工厂类
kafkaDynamicTableFactory,使用kafkaDynamicTableFactory创建出KafkaDynamicSource
Runtime: KafkaDynamicSource 创建出FlinkKafkaConsumer,负责flink 实际运行