大数据“流”“批”计算引擎之Flink入门基础知识总结

Flink是一个分布式计算引擎，用于对无界和有界数据流进行状态计算，既能批计算也能流计算

有界数据

• 具有起始时间和截止时间

• 特点

  • 有定义流的开始，也有定义流的结束。
  • 有界流可以在摄取所有数据后再进行计算。
  • 有界流所有数据可以被排序，所以并不需要有序摄取。
  • 有界流处理通常被称为批处理

无界数据

• 有开始时间但没有截止时间，它们在生成时提供数据，但不会被终止

• 特点

  • 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。
  • 无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。
  • 处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。

实时监控

• 用户行为预警, app crash预警, 服务器攻击预警
• 对用户行为或者相关事件进行实时监测和分析, 基于风控规则进行预警

实时报表

• 双11, 双12等活动直播大屏
• 对外数据产品: 生意参谋等
• 数据化运营

流数据分析

• 实时计算相关指标反馈及时调整决策
• 内容投放, 无线智能推送, 实时个性化推荐等

实时仓库

• 数据实时清洗, 归并, 结构化
• 数仓的补充和优化

为每一个观察到的key保存一个聚合的值

不需要用户自定义函数，但需要接受一个参数，这个参数指定了在哪一个字段上面做聚合

无法组合起来使用，每次计算只能使用一个单独的滚动聚合算子

常用方法

• sum()：在输入流上对指定的字段做滚动相加 *** 作。
• min()：在输入流上对指定的字段求最小值。
• max()：在输入流上对指定的字段求最大值。
• minBy()：在输入流上针对指定字段求最小值，并返回包含当前观察到的最小值的事件。
• maxBy()：在输入流上针对指定字段求最大值，并返回包含当前观察到的最大值的事件。

将两条或者多条DataStream合并成一条具有与输入流相同类型的输出

事件合流的方式为FIFO方式

特点

• 1.union 合并的流的元素必须是相同的
• 2.union 可以合并多条流
• 3.union不去重，合流顺序为先进先出

和union类似的功能，用来连接两个数据流

与union的区别

• connect只能连接两个数据流，union可以连接多个数据流。
• 数据类型：connect，两个数据流的数据类型可以不一致；union，数据类型必须一致

两个DataStream经过connect之后被转化为ConnectedStreams

connect经常被应用在对一个数据流使用另外一个流进行控制处理的场景上