Flink学习系列——Flink简介（一）

Flink学习系列——Flink简介（一）

作者：高二蛋

来源： 恒生LIGHT云社区

主要内容:

Flink是什么 为什么用Flink? 流处理的发展和演变 Flink的主要特点 Flink VS Spark Streaming

1.Flink是什么

Flink是一个框架(可以处理流和批处理的框架)和分布式处理引擎,用于对无界数据和有界数据流进行状态计算;

2.为什么选择 Flink:

流数据更真实的反应我们的生活方式; 传统的数据架构是基于有限数据集的; 我们的目标:

低延迟; 吞吐性; 结果的准确性和良好的容错性;

3.哪些行业需要处理流数据呢?

电商和市场营销:

数据报表,广告投放,业务流程需要;

物联网(IOT):

传感器实时数据的采集和显示,实时报警,交通运输业;

电信业:

基站流量匹配;

银行和金融业:

实时结算和通知推送,实时监测异常行为;

4.流式处理的演变:

https://developer.hs.net/thread/1009

5.Flink主要特点:

事件驱动: 基于流的世界观: 分层API: 支持事件事件(event-time)和处理时间(processing-time)语义; 精确一次(exactly-once)的状态一致性保证; 低延迟,每秒处理百万个事件,毫秒级延迟; 与众多常用存储系统的连接; 高可用,动态扩展,实现7*24小时全天候运行;

6.flink VS Spark Streaming:

结构:

Flink:流(stream) Spark Streaming:微批(micro-batching) 数据模型:

Flink:基本数据模型就是数据流,以及事件(Event)序列; Spark采用RDD模型,SparkStreaming的DStream实际上也就是一组组小批数据RDD的集合; 运行时架构:

Flink:是标准的流执行模式,一个事件在一个节点处理完后可以直接发往下一个节点进行处理;(因为没有stage的划分,所以延迟性低) Spark是批处理,将DAG划分为不同的stage,一个完成之后才可以计算下一个;