11.2.10、flink核心

11.2.10、flink核心,第1张

11.2.10、flink核心 1、flink的sqlAPI

在flink流上面写 sql
物化视图定义为 SQL 查询。为了更新视图,查询会不断处理视图基本关系的变更日志流。
物化视图是流式 SQL 查询的结果

2、动态表和连续查询

— 在flink数据流上面定义一个动态表,用于转化数据
—通过连续查询将结果保存另一个动态表
—将新的动态表转化成流,输出…
—动态表分为只更新的表,追加的表


动态表首先是一个逻辑概念。动态表在查询执行期间不一定(完全)具体化(物化,虚拟的)

3、流程(数据删除更新的表,只插入的表)

–流上的第一个动态表,仅仅是插入(不断来数据)(在流上定义的表没有物化)
—在动态表上连续查询,查询结果如果是聚合统计的话,会将之前的数据删除,再插入新的数据结果
—如果是窗口的话,数据之间没有关系,数据不用删除

4、导入依赖

(1)表程序依赖



  org.apache.flink
  flink-table-api-scala-bridge_2.11
  1.11.2
  provided

(2)计划器



  org.apache.flink
  flink-table-planner-blink_2.11
  1.11.2
  provided

(3)流处理


  org.apache.flink
  flink-streaming-scala_2.11
  1.11.2
  provided

(4)扩展依赖(自定义函数)


  org.apache.flink
  flink-table-common
  1.11.2
  provided

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5695863.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存