Spark 之 RDD行动算子

Spark 之 RDD行动算子

RDD行动算子

• 前言
• Spark 知识系列文章
• 一、 RDD行动算子
• • 1.1 reduce(func)案例
  • 1.2 collect()案例
  • 1.3 count()案例
  • 1.4 first()案例
  • 1.5 take(n)案例
  • 1.6 takeOrdered(n)案例
  • 1.7 aggregate案例
  • 1.8 fold(num)(func)案例
  • 1.9 saveAsTextFile(path)
  • 1.10 saveAsSequenceFile(path)
  • 1.11 saveAsObjectFile(path)
  • 1.12 countByKey()案例
  • 1.13 foreach(func)案例
• 总结

---

前言

本文介绍Spark三大数据结构之一的RDD的行动算子，通过配合案例使读者更加深刻的了解各大行动算子的作用及其使用方法；

---

Spark 知识系列文章

   此处罗列了有关Spark相关知识的其他文章，有需要的可以进行点击查阅。

   Spark 之 Spark框架及部署

   Spark 之Spark三大数据结构

   Spark 之 RDD转换算子

   Spark 之 SparkSQL

   Spark 之 SparkStreaming

一、 RDD行动算子 1.1 reduce(func)案例

作用：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。

需求：创建一个RDD，将所有元素聚合得到结果。

实现：
val rdd = sc.makeRDD(1 to 10, 2)
rdd.reduce(+)

1.2 collect()案例

作用：在驱动程序中，以数组的形式返回数据集的所有元素。

1.3 count()案例

作用：返回RDD中元素的个数

实现：rdd.count

1.4 first()案例

作用：返回RDD中的第一个元素

实现：rdd.first

1.5 take(n)案例

作用：返回一个由RDD的前n个元素组成的数组

实现：rdd.take(3)

1.6 takeOrdered(n)案例

作用：返回该RDD排序后的前n个元素组成的数组（升序）

实现：rdd.takeOrdered(3)

1.7 aggregate案例

参数：(zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)

作用：aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine *** 作。这个函数最终返回的类型不需要和RDD中元素类型一致。（分区内分区间都会和初始值相加，aggregateByKey 分区间不加初始值）

实现：rdd.aggregate(0)(+)(+)

1.8 fold(num)(func)案例

作用：折叠 *** 作，aggregate的简化 *** 作，seqop和combop一样。

需求：创建一个RDD，将所有元素相加得到结果

实现：rdd.fold(0)(+)

1.9 saveAsTextFile(path)

作用：将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本

1.10 saveAsSequenceFile(path)

作用：将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。

1.11 saveAsObjectFile(path)

作用：用于将RDD中的元素序列化成对象，存储到文件中。

1.12 countByKey()案例

作用：针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应元素个数。

实现：

1.13 foreach(func)案例

作用：在数据集的每一个元素上，运行函数func进行更新。

需求：创建一个RDD，对每个元素进行打印

实现：rdd.foreach(println(_))

---

总结

本文介绍Spark三大数据结构之一的RDD的行动算子，通过配合案例使读者更加深刻的了解各大行动算子的作用及其使用方法；如果有不足之处或者表述不当的地方欢迎大家指正。