Flink window API窗口相关知识

Flink window API窗口相关知识

Flink window API

window概念window类型

滚动窗口（Tumbling Windows）滑动窗口会话窗口（Session Windows） window API窗口分配器（window assigner）创建不类型的窗口

window概念

一般真实的流都是无界的，怎样处理无界的数据可以把无限的数据流进行切分，得到有限的数据集进行处理 ——也就是得到有界流窗口（window）就是将无限流切割成有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析 window类型

时间窗口：滚动时间窗口、滑动时间窗口、会话窗口计数窗口：滚动计数窗口、滑动计数窗口 滚动窗口（Tumbling Windows）

将数据依据固定的窗口长度对数据进行切分时间对齐，窗口长度固定，没有重叠 滑动窗口

滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成窗口长度固定，可以有重叠 会话窗口（Session Windows）

由一系列事件组合一个指定时间长度的 timeout 间隙组成，也就是一段时间没有接收到新数据就会生成新的窗口特点：时间无对齐 window API

可以用 .window() 来定义一个窗口，然后基于这个 window 去做一些聚合或者其它处理 *** 作。注意 window () 方法必须在 keyBy 之后才能用。Flink 提供了更加简单的 .timeWindow 和 .countWindow 方法，用于定义时间窗口和计数窗口。 窗口分配器（window assigner）

window() 方法接收的输入参数是一个 WindowAssignerWindowAssigner 负责将每条输入的数据分发到正确的 window 中Flink 提供了通用的 WindowAssigner：滚动窗口（tumbling window）、滑动窗口（sliding window）、会话窗口（session window）、全局窗口（global window） 创建不类型的窗口

滚动时间窗口（tumbling time window）

.timeWindow(Time.seconds(15))

滑动时间窗口（sliding time window）

.timeWindow(Time.seconds(15), Time.seconds(5))

会话窗口（session window）

.window(EventTimeSessionWindow.withGap(Time.seconds(5))

滚动计数窗口（tumbling count window）

.countWindow(5)

滑动计数窗口（sliding count window）

.countWindow(10,2)