- Spark核心模块
- 流式(Streaming)数据处理
- 使用Dstream进行wordCount *** 作:
- DStream的创建
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark 和Hadoop 的根本差异是多个作业之间的数据通信问题 : Spark 多个作业之间数据通信是基于内存,而 Hadoop 是基于磁盘。 Spark核心模块
数据处理的分类
数据处理的方式角度
流式(Streaming)数据处理
批量(brtch)数据处理
流式(Streaming)数据处理数据处理的延迟长短
实时数据处理:毫秒级
离线数据处理:小时or天数级别
准实时,微批次(时间)的数据处理框架,而且支持的数据输入源很多。数据输入后可以用 Spark 的高度抽象原语,如:map、reduce、join、window 等进行运算。而结果也能保存在很多地方,如 HDFS,数据库等。
架构图:
添加依赖
org.apache.spark spark-streaming_2.123.0.0
代码如下:
package com.cjy.bigdata.spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} object SparkStreaming01_WordCount { def main(args: Array[String]): Unit = { //TODO 创建环境对象 //StreamingContext创建时,需要传递两个参数 //第一个表示环境配置 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkStreaming") //第二个参数表示批量处理的周期(采集周期) val ssc = new StreamingContext(sparkConf,Seconds(3)) //TODO 逻辑处理 //获取端口数据 val lines: ReceiverInputDStream[String] = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordToOne = words.map((_, 1)) val wordToCount: DStream[(String,Int)] = wordToOne.reduceByKey(_ + _) wordToCount.print() //TODO 关闭环境 //由于采集器是长期执行的任务,所以不能直接关闭,而且不能让main方法执行完毕 //ssc.stop() //1、启动采集器 ssc.start() //2、等待采集器的关闭 ssc.awaitTermination() } }
1、得到StreamingContext对象,参数中是环境配置和采集周期
2、调用socketTextStream方法,采集数据为一行行的
3、使用flatMap将数据切分,形成单词形式
4、words.map((_, 1))将单词映射为元组
5、使用reduceByKey方法将相同单词数做统计
结果如下:
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)