大数据技术原理与应用 第三版 林子雨 期末复习（六） 十一章 流计算

大数据技术原理与应用 第三版 林子雨 期末复习（六） 十一章 流计算

大数据技术原理与应用 第三版 林子雨 期末复习（六） 十一章 流计算

• 静态数据和流数据
• • 静态数据：
  • 流数据：
• 批处理和流计算
• 流计算要求
• STROM
• • strom设计思想
  • Strom的工作流程
  • Spark Streaming 与 Storm的对比

静态数据和流数据 静态数据：

不会随着时间变化的数据。

流数据：

数据快速持续到达，潜在数据量无法估计
数据来源多，格式复杂
数据量大，但是并不关注存储，处理后的数据要么被丢弃要么被归类存储
注重整体价值，不注重个别数据价值
数据顺序颠倒，不完整系统将会出错

批处理和流计算

流计算要求

高性能
海量式
实时性
分布式
易用性
可靠性

STROM strom设计思想

1 Stream
Strom认为流数据是一个无限的Tuple序列
2 Spouts
Strom认为每个流数据都有一个源头，并把这个源头抽象为Spouts。Spouts会从外部读取流数据并将其抽象为Tuple
3 Bolts
Storm将Stream的状态转换过程抽象为Bolts
4 Topology
Strom将Spouts和Bolts组成的网络抽象成Topology。
5 Stream Grouping
Strom中的Stream Grouping 用于告知Topology如何再两个组件之间进行Tuple传送。

Strom的工作流程

Spark Streaming 与 Storm的对比

Spark Streaming无法实现毫秒级计算，Strom可以实现。
常用的流计算架还有Flink