实战课程Spark Streaming实时流处理项目学习笔笔记

实战课程Spark Streaming实时流处理项目学习笔笔记

       

Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外，还有一种非常流行的而且完整的离线和

       链接: https://pan.baidu.com/s/1HfA5wVs77XbN1grTM4tA1A  密码: i61w

　　实时数据处理方案。这种方案就是Spark。Spark本质上是对Hadoop特别是MapReduce的补充、优化和完善，尤其是数据处理速度、易用性、迭代计算和复杂数据分析等方面。

　    Spark Streaming 作为Spark整体解决方案中实时数据处理部分，本质上仍然是基于Spark的d性分布式数据集（Resilient Distributed Datasets ：RDD）概念。Spark Streaming将源头

　    数据划分为很小的批，并以类似于离线批的方式来处理这部分微批数据。

　　相对于Storm这种原生的实时处理框架，Spark Streaming基于微批的的方案带来了吞吐量的提升，但是也导致了数据处理延迟的增加---基于Spark Streaming实时数据处理方案的数据

　   延迟通常在秒级甚至分钟级。

1.课程流程

2.可视化效果

采用了两种实现方式：第一种：使用Sparing Boot整合Echarts实现；第二种：使用阿里云DataV数据可视化框架实现

3.课程安排

整合Flume、Kafka、Spark Streaming打造通用的流处理平台基础
Spark Streaming项目实战
数据处理结果可视化

我已经学习了 “ 实战课程Spark Streaming实时流处理项目 ”  这门付费课，需要的取走。

链接: https://pan.baidu.com/s/1HfA5wVs77XbN1grTM4tA1A  密码: i61w