MaxCompute SQL调优

MaxCompute SQL调优

SQL成本计算=读取IO数据量*SQL复杂度

所以，SQL调优可以从两方面入手：①减少数据量；②降低SQL复杂度

一、减少数据量

1.表分区优化

（1）创建分区表

（2）分区裁剪、避免全表扫描。

（3）分区尽量使用常量、减少分区字段函数使用

（4）分区按层级顺序裁剪

（5）写入静态分区，优化数据存储；减少动态分区，防止小文件过多。

2.列裁剪、条件过滤

（1）避免使用select * ，查询需要的列

（2）使用Limit N

  (3)使用条件过滤，pushdown.

3.源表合并

（1）合并不同SQL，一读多计算

（2）子查询合并

二、优化SQL复杂度

1.JOIN连接，MapJoin优化(SELECT )

运行原理：

        ①小表数据全部加载内存；

        ②读取大表的每个Task加载一份小表数据。

限制条件：

        ​​​ 

 使用场景：

        ①大表关联小标；

        ②使用不等值条件，例如or；

        ③系统内部自动优化为MapJoin；

        ④普通join连接可能发生数据倾斜（原因：null值、缺省值、大Key值；数据分发不合理等），可以显示指定mapjoin:

        增加源表作为大表的并发度：set odps.sql.mapper.split.size = 128;

        增加子查询作为大表并发度：set odps.sql.joiner.instances = 1111;

2.Full outer join 全连接优化

（1）使用限制

        ①只能使用meger join，不能使用map join

        ②出现数据倾斜，很难通过参数调节解决。

（2）解决方案

        ①将full outer join 转化为left outer join + union all

        ②将小表设置为mapjoin

3.JOIN条件过滤   

4.类型转换

（1）尽可能保证表达式两边的类型一致（Cast转换）

（2）隐式转换（尽量少使用隐式转换，防止数据倾斜等问题）

5.聚合运算优化

（1）减少使用distinct

        会导致数据膨胀，网络传输和处理的数据量暴增；CPU、IO、内存资源消耗增加；也可能导致数据倾斜。