提高SQL功底的思路

提高SQL功底的思路,第1张

提高SQL功底的思路

--提高SQL功底的思路。
--1、最好先造数据,因为只有数据支撑,才会方便我们根据数据结果去不断调整SQL的写法。
--造数据语法既可以create table再insert into,也可以用案例中的create view xx as values语句,更简单。
--其中create view xx as values语句,SparkSQL语法支持,hive不支持。
--2、再将结果表画出来,包括结果字段名有哪些,数据量也画几条。这是分析他要什么。
--3、从源表到结果表,一路可能要走多个步骤,其实就是可能需要多个子查询,如果步骤超过2步,就用with as来重构提高可读性。
--4、要由简单过度到复杂,不要一下子就写一个很复杂的。
--先写简单的select * from table..,每个中间步骤都执行打印结果,看是否符合预期,
--根据中间结果,进一步调整修饰SQL语句,再执行,直到接近结果表。
--5、数据量小,工具要快,如果用hive,就设置set hive.exec.mode.local.auto=true;
--如果是SparkSQL,就设置合适的shuffle并行度,set spark.sql.shuffle.partitions=4;

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5719974.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-18
下一篇 2022-12-18

发表评论

登录后才能评论

评论列表(0条)

保存