大数据Spark之一篇文章读懂Spark-Core

Spark Streaming

• 流式计算框架

Spark GraphX

• 图形计算引擎

ML base

• 机器学习

Spark SQL

• 使用SQL处理业务

更快

易于使用

• Spark Sql

支持多种环境

Local

• 多用于本地测试，如在 eclipse ， idea 中写程序测试等。

Standalone

• Standalone 是 Spark 自带的一个资源调度框架，它支持完全分布式。

Yarn

• Hadoop 生态圈里面的一个资源调度框架， Spark 也是可以基于 Yarn 来计算的。

概念

• Spark RDD 是一种分布式的数据集，由于数据量很大，因此要它被切分并存储在各个结点的分区当中。
• Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。
• RDD1包含了5个Partition，RDD2包含了3个Partition，这些Partition分布在4个节点中。

分区方式

• Spark包含两种数据分区方式：HashPartitioner（哈希分区）和RangePartitioner（范围分区）

• HashPartitioner

  • Hash分区
  • HashPartitioner采用哈希的方式对键值对数据进行分区。
  • 其数据分区规则为 partitionId = Key.hashCode % numPartitions

• RangePartitioner

  • 范围分区
  • Spark引入RangePartitioner的目的是为了解决HashPartitioner所带来的分区倾斜问题，也即分区中包含的数据量不均衡问题。
  • HashPartitioner采用哈希的方式将同一类型的Key分配到同一个Partition中，当某几种类型数据量较多时，就会造成若干Partition中包含的数据过大
  • 在Job执行过程中，一个Partition对应一个Task，此时就会使得某几个Task运行过慢。
  • RangePartitioner基于抽样的思想来对数据进行分区

d性分布式数据集

RDD五大属性

• RDD 是由一系列的 partition 组成的。
• 函数是作用在每一个 partition/split 上。
• RDD 之间有一系列的依赖关系。
• 分区器是作用在 (K,V) 格式的 RDD 上。
• RDD 提供一系列最佳的计算位置。

RDD流程图

Lineage血统

• RDD 的最重要的特性之一就是血缘关系（Lineage )，它描述了一个 RDD 是如何从父 RDD 计算得来的。如果某个 RDD 丢失了，则可以根据血缘关系，从父 RDD 计算得来。

转换算组join

• leftOuterJoin
• rightOuterJoin
• fullOuterJoin
• join 后的分区数与父RDD分区数多的那一个相同。

union

• 合并两个数据集。两个数据集的类型要一致。
• 返回新的 RDD 的分区数是合并 RDD 分区数的总和。

intersection

• 取两个数据集的交集。
• 分区数为最多分区数的RDD，不可设置

subtract

• 取两个数据集的差集。
• 分区数与前面那个RDD的分区相似

mapPartitions

• mapPartition与 map 类似，单位是每个 partition 上的数据。
• 分区数不变

distinct(map+reduceByKey+map)

• 对 RDD 内数据去重。
• 分区数不变

cogroup

• 当调用类型 (K,V) 和 (K，W) 的数据上时，返回一个数据集 (K，(Iterable,Iterable)) 。
• 分区数为最多分区数的RDD的分区数

foreachPartition

• 遍历所有分区的数据

1.从后向前推理，遇到宽依赖就断开，遇到窄依赖就把当前的RDD加入到Stage中；

2.每个Stage里面的Task的数量是由该Stage中最后一个RDD的Partition数量决定的；

3.最后一个Stage里面的任务的类型是ResultTask，前面所有其他Stage里面的任务类型都是ShuffleMapTask；

4.代表当前Stage的算子一定是该Stage的最后一个计算步骤；

总结

• 由于spark中stage的划分是根据shuffle来划分的，而宽依赖必然有shuffle过程，因此可以
  说spark是根据宽窄依赖来划分stage的。

普通模式

• 上游产生数据的时候，根据下游的Partition生成文件
• 总生成的文件数为：MapTask * ReduceTask

合并模式

• 每一个Executor创建一批（下游Partition的数量）文件
• 文件数量：MapExecutor * ReduceTask

mapPartitionsWithIndex

• 类似于 mapPartitions ,除此之外还会携带分区的索引值。

repartition

• 增加或减少分区。此算子会产生 shuffle 。

coalesce

• coalesce 常用来减少分区，算子中第二个参数是减少分区的过程中是否产生 shuffle 。
• true 为产生 shuffle ， false 不产生 shuffle 。默认是 false 。
• 如果 coalesce 设置的分区数比原来的 RDD 的分区数还多的话，第二个参数设置为 false 不会起作用（转换之后分区数大于之前），如果设置成 true ，效果和 repartition 一样。
• repartition(numPartitions) = coalesce(numPartitions,true)

groupByKey

• 作用在 K，V 格式的 RDD 上。根据 Key 进行分组。作用在 (K，V) ，返回 (K，Iterable) 。

zip

• 将两个 RDD 中的元素（ KV格式/非KV格式 ）变成一个 KV 格式的 RDD ,两个 RDD 的个数必须相同。

zipWithIndex

• 该函数将 RDD 中的元素和这个元素在 RDD 中的索引号（从0开始）组合成 （K,V） 对。

countByKey

• 作用到 K,V 格式的 RDD 上，根据 Key 计数相同 Key 的数据集元素。

countByValue

• 根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。

reduce

• 根据聚合逻辑聚合数据集中的每个元素。

类算子叫做转换算子（本质就是函数）， Transformations 算子是延迟执行，也叫懒加载执行。需要行动算子才能执行

常用转换算子

• filter

  • 过滤

• flatMap

  • 拆分

• map

  • 对每个元素进行修改获得个新的集合

• reduceByKey

  • 合并

• sortBy

  • 排序

执行别的算子所需要的算子

常见

• count

  • 返回数据集中的元素数。会在结果计算完成后回收到 Driver 端

• foreach

  • 循环遍历数据集中的每个元素，运行相应的逻辑。

• take

  • 返回一个包含数据集前 n 个元素的集合。

• first

  • 效果等同于 take(1) ,返回数据集中的第一个元素。

• collect

  • 将计算结果回收到 Driver 端。

持久化RDD，单位是Partition

三种

• cache

  • 持久化在内存中，cache 是懒执行

• persist

  • 自行选择缓存级别
  • MEMORY_onLY 和 MEMORY_AND_DISK

• checkpoint

  • checkpoint 将 RDD 持久化到磁盘，还可以切断 RDD 之间的依赖关系，也是懒执行。

  • 执行原理

    • 当 RDD 的 job 执行完毕后，会从 finalRDD 从后往前回溯。
    • 当回溯到某一个 RDD 调用了 checkpoint 方法，会对当前的 RDD 做一个标记。
    • Spark 框架会自动启动一个新的 job ，重新计算这个 RDD 的数据，将数据持久化到Checkpint目录中。

  • 使用 checkpoint 时常用优化手段

    • 对 RDD 执行 checkpoint 之前，最好对这个 RDD 先执行 cache
    • 这样新启动的 job 只需要将内存中的数据拷贝到Checkpint目录中就可以，省去了重新计算这一步。