Spark综合性调优

Spark综合性调优

Spark综合性调优

• 1.分配资源调优
• • 1.1可以分配的资源：
  • 1.2 怎么分配
  • 1.3 为什么会提升性能
• 2.调节并行度
• • 2.1 并行度概念和原因
  • 2.2设置并行度
• 3.重构RDD架构以及RDD持久化
• • 3.1RDD架构重构与优化
  • 3.2公共RDD一定要实现持久化
  • 3.3持久化，是可以进行序列化的
  • 3.4在内存充足的时候，为了数据的可靠性，可以使用双副本机制持久化。
• 4.使用Kryo序列化
• • 4.1.概念
  • 4.2Kryo序列化机制启用以后生效的几个地方

1.分配资源调优 1.1可以分配的资源：

1.executor数量 2.每个executor能分配 cpu的数量3.每个executor分配的内存数量4，driver分配的内存量

1.2 怎么分配

在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：
/usr/local/spark/bin/spark-submit
–class cn.spark.sparktest.core.WordCountCluster
–num-executors 3 配置executor的数量
–driver-memory 100m 配置driver的内存（影响不大）
–executor-memory 100m 配置每个executor的内存大小
–total-executor-cores 3 配置所有executor的cpu core数量
/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar

1.3 为什么会提升性能

1. 增加executor和executor 的cpu core ：原本3个executor，每个executor有两个cpu core，那么并行的task执行是6个，需要执行玩6个task后才能继续执行下一批6个task。
   修改为6个executorh，每个4个cpu core的话，那么并行处理task的数就成了24个，一次能进行24个task处理。性能提高4倍。
   2.增加executor内存量后有三点性能提升：
   1.如果rdd要cache，那么更多的内存意味着能缓存更多的数据，将减少数据写入磁盘甚至不写入磁盘，减少磁盘IO
   2.对于shuffle *** 作，reduce需要拉取数据在，如果内存不够，也是会写入磁盘。那么更多的内存意味着能缓存更多的数据，将减少数据写入磁盘甚至不写入磁盘，减少磁盘IO
   3.对于task的执行，可能会生成很多对象。如果内存少，可能会导致jvm堆内存满了，频繁GC、垃圾回收、minor GC和full GC。拉低运行速度。内存增大后，能减少GC、垃圾回收，避免了速度变慢。

2.调节并行度 2.1 并行度概念和原因

1.并行度指的是Spark作业中，各个stage的task数量，代表了Spark作业的在各个阶段（stage）的并行度。
2.如果机器有50个executor，每个executor有10G内存，每个executor有3个cpu core。那么最大的task并行度应该是150个task并行执行，但是如果你不设置，或者设置100个并行度，那就是浪费了50个task的资源。只要合理设置并行度，就可以完全充分利用你的集群计算资源，并且减少每个task要处理的数据量，最终，就是提升你的整个Spark作业的性能和运行速度。

2.2设置并行度

1.task的数量，至少应该与spark application的总cpu core数量相同。（最理想情况，比如总共150个cpu core，分配了150个task，一起运行，差不多同一时间运行完毕）
2.官方是推荐，task数量，设置成spark application总cpu core数量的2~3倍，比如150个cpu core，基本要设置task数量为300~500。
3.实际情况，与理想情况不同的，有些task会运行的快一点，比如50s就完了，有些task，可能会慢一点，要1分半才运行完，所以如果你的task数量，刚好设置的跟cpu core数量相同，可能还是会导致资源的浪费。比如150个task，10个先运行完了，剩余140个还在运行，但是这个时候，有10个cpu core就空闲出来了，就导致了浪费。那如果task数量设置成cpu core总数的2~3倍，那么一个task运行完了以后，另一个task马上可以补上来，就尽量让cpu core不要空闲，同时也是尽量提升spark作业运行的效率和速度，提升性能。
设置并行度方法：
spark.default.parallelism
SparkConf conf = new SparkConf()
.set(“spark.default.parallelism”, “500”)

3.重构RDD架构以及RDD持久化 3.1RDD架构重构与优化

尽量取复用rdd，差不多的rdd，可以抽取为一个共同的rdd，供后续的rdd计算使用。

3.2公共RDD一定要实现持久化

对于多次计算和使用的公共rdd，一定要持久化

3.3持久化，是可以进行序列化的

正常持久化在内存中可能会占用内存过大，会导致oom。当纯内存无法支撑公共rdd数据完全存放的时候，可以有限考虑序列化在纯内存中存放。将rdd的每个partition 数据序列化成一个大的字节组。序列化后大大减少内存空间。但是缺点是取出数据时候需要反序列化。

3.4在内存充足的时候，为了数据的可靠性，可以使用双副本机制持久化。

持久化的副本，因为机器宕机了，副本丢了还需要计算一次。双副本的话，另外一个副本在另外一个节点，不需要计算，直接使用另外副本。这种方式，仅仅针对你的内存资源极度充足的情况。

4.使用Kryo序列化 4.1.概念

spark内部是使用java序列化的，objectinputstream，objectoutputstream对象输入输出流来序列化。很方便，但是使用的时候算子的变量要实现serializable接口。
但是这样效率不高，序列化速度慢，占用的内存还是比较大。
然后spark是支持kryo序列化机制，这种机制比java序列化速度快，数据占用内存小。

4.2Kryo序列化机制启用以后生效的几个地方

1.算子使用到的外部变量，使用kryo后，优化网络的传输性能。可以优化集群中内存的占用和消耗。
2.持久化rdd使用到的内存资源。持久化RDD，优化内存的占用和消耗。持久化RDD占用的内存越少，task执行的时候，创建的对象，就不至于频繁的占满内存，频繁发生GC。
3.shuffle可以优化网络传输的性能