Spark shuffle的两个调优参数

Spark shuffle的两个调优参数

# 文件输出流内存缓冲区大小 默认32k 增加可以可以减少创建shuffle文件时候进行磁盘搜索和系统调用次数，建议64k
spark.shuffle.file.buffer shuffle

# 拉取的数据量大小 默认48m 增加可以减少reduce拉取数据的次数 建议96m
spark.reducer.maxSizeInFilght reducetask