Spark Sql 相关设置及调优

Spark Sql 相关设置及调优

Spark Sql 相关设置及调优

• • • 参数设置
    • 设置笛卡尔积
    • 设置 shuffle 的并行度
    • 禁止精度损失
    • 开启动态分区
    • join 和 left join 的选择

参数设置

https://blog.csdn.net/zyzzxycj/article/details/81011540

设置笛卡尔积

在 SQL 中如果 2 个大表做笛卡尔积，那么数据量会暴增，应尽量避免。如果是两个小表则不会造成这种情况，反而可以便捷生成表

-- 设置支持笛卡尔积
-- Spark 2.x 版本中默认不支持笛卡尔积 *** 作，需要手动开启
set spark.sql.crossJoin.enabled=true;

设置 shuffle 的并行度

因为笛卡尔积会产生 shuffle，默认的 shuffle 结果分区是 200，如果数据量不大，但是分区太多反而影响性能，所以需要减小分区

-- 设置 shuffle 的分区数量为 4
set spark.sql.shuffle.partitions=4;

禁止精度损失

如果计算链条比较长，每一步骤如果有精度损失，那么叠加到最后，可能会导致结果不准确，所以做如下设置

-- 设置禁止精度损失
set spark.sql.decimalOperations.allowPrecisionLoss=false;

开启动态分区

若使用到动态分区，必须设置该参数，该参数默认关闭

set hive.exec.dynamic.partition=true;

这个属性默认值是strict,就是要求分区字段必须有一个是静态的分区值，随后会讲到，当前设置为nonstrict,那么可以全部动态分区

-- 关闭严格模式
set hive.exec.dynamic.partition.mode=nonstrict; 

join 和 left join 的选择

使用 join 的情况

① 需要出现笛卡尔积的效果

② 两张表有互相对应的唯一值，比如说两张表都有 user_id ，那么完全可以通过 user_id 关联

使用 left join 或 right join 的情况

① 主表中的数据可能在副表中关联不到数据，此时为了让主表中的数据全部显示，则可以使用

② 通过多个字段关联，且不是主键字段