如何监听flinksql查询mysql的频率

如何监听flinksql查询mysql的频率

1.在mysql的目录下, 找到my.ini文件, 然后在其中加入:

[mysqld]
log = "D:/Mysql5.5.61/mysql_log.sql"

2.重启mysql服务
3.这时候在mysql中执行任意语句, 均能在D:/Mysql5.5.61/mysql_log.sql中查看到

flink sql mysql source lookup.cache.ttl

据测试, 本单位是ms, 并非s

以下实验均在本地中, 断点 JdbcRowDataLookupFunction

FOR SYSTEM_TIME AS OF 方式join

当有数据进来时, 每条数据均会到下面方法

阅读源码不难发现, 当在内存中查询不到数据时, 会去查询一次mysql, 然后再放入cache中, 如果没能在mysql中查出数据, 那么会在缓存中存放一个键值, 数据为空, 在ttl时间内, 就不会再去读取mysql中的数据, 真正做到缓存

普通join

加载时, 不会走JdbcRowDataLookupFunction, 而是走另外的加载类, 将数据从mysql中全部读取出来, 本任务就直接结束, 不会再去查mysql的数据, 但是注意: 如果是开窗聚合, 那么这种方式会直接报错

普通join, 一次性加载表中的数据, 因此需要多考虑下表的大小, flink状态后端内存是否能撑住