06 Spark on RDD序列化问题

06 Spark on RDD序列化问题

闭包检查

从计算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executor]端执行。那么在 scala 的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，就意味着无法传值给 Executor端执行，就会发生错误，所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个 *** 作我们称之为闭包检测。Scala2.12 版本后闭包编译方式发生了改变。

序列化方法和属性

从计算的角度, 算子以外的代码都是在 Driver 端执行 val user = new User(100);, 算子里面的代码都是在 Executor端执行。

异常案例

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}


object SerErrorCase {

  def main(args: Array[String]): Unit = {

    val cf: SparkConf = new SparkConf().setAppName("SerCase").setMaster("local[*]")

    val sc = new SparkContext(cf)

    val value: RDD[Int] = sc.makeRDD(List(1, 1, 1, 1))

    val user = new User(100);

    val value1: RDD[Int] = value.map(num => {
      num + user.age
    })
    value1.collect().foreach(println)
  }
  
  class User(num: Integer) {
    val age = 2 + num
  }
}

 成功案例

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}


object SerCase {

  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setAppName("SerCase").setMaster("local[*]")

    val sc = new SparkContext(conf)

    val value: RDD[Int] = sc.makeRDD(List(1, 1, 1, 1))

    val user = new User(100);

    val value1: RDD[Int] = value.map(num => {
      num + user.age
    })

    value1.collect().foreach(println)

  }


  class User(num: Integer) extends Serializable {

    val age = 2 + num

  }


}