Flink window API窗口相关知识

Flink window API窗口相关知识,第1张

Flink window API窗口相关知识

Flink window API

window概念window类型

滚动窗口(Tumbling Windows)滑动窗口会话窗口(Session Windows) window API窗口分配器(window assigner)创建不类型的窗口

window概念

一般真实的流都是无界的,怎样处理无界的数据可以把无限的数据流进行切分,得到有限的数据集进行处理 ——也就是得到有界流窗口(window)就是将无限流切割成有限流的一种方式,它会将流数据分发到有限大小的桶(bucket)中进行分析 window类型

时间窗口:滚动时间窗口、滑动时间窗口、会话窗口计数窗口:滚动计数窗口、滑动计数窗口 滚动窗口(Tumbling Windows)

将数据依据固定的窗口长度对数据进行切分时间对齐,窗口长度固定,没有重叠 滑动窗口

滑动窗口是固定窗口的更广义的一种形式,滑动窗口由固定的窗口长度和滑动间隔组成窗口长度固定,可以有重叠 会话窗口(Session Windows)

由一系列事件组合一个指定时间长度的 timeout 间隙组成,也就是一段时间没有接收到新数据就会生成新的窗口特点:时间无对齐 window API

可以用 .window() 来定义一个窗口,然后基于这个 window 去做一些聚合或者其它处理 *** 作。注意 window () 方法必须在 keyBy 之后才能用。Flink 提供了更加简单的 .timeWindow 和 .countWindow 方法,用于定义时间窗口和计数窗口。 窗口分配器(window assigner)

window() 方法接收的输入参数是一个 WindowAssignerWindowAssigner 负责将每条输入的数据分发到正确的 window 中Flink 提供了通用的 WindowAssigner:滚动窗口(tumbling window)、滑动窗口(sliding window)、会话窗口(session window)、全局窗口(global window) 创建不类型的窗口

滚动时间窗口(tumbling time window)

.timeWindow(Time.seconds(15))

滑动时间窗口(sliding time window)

.timeWindow(Time.seconds(15), Time.seconds(5))

会话窗口(session window)

.window(EventTimeSessionWindow.withGap(Time.seconds(5))

滚动计数窗口(tumbling count window)

.countWindow(5)

滑动计数窗口(sliding count window)

.countWindow(10,2)

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5708711.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存