sql执行顺序行转列,列转行(一列转多行)
from>侧写>join>where>groupby>select>聚合函数>having>orderby>limit
行转列
1)相关函数说明(可以是一行转一列,多行转一列)
CONCAt(string A/col, string B/col…):返回输入字符串
CONCAt(string A/col, string B/col…):返回输入字符串连接后的结果,支持任意个输入字符串;
CONCAT_Ws(separator, str1, str2,...):它是一个特殊形式的 CONCAt()。第一个参数剩余参数间的分隔符。
COLLECT_SET(col):函数只接受基本数据类型,它的主要作用是将某字段的值进行去重汇总,产生array类型字段。
COLLECT_LIST(col):函数只接受基本数据类型,它的主要作用是将某字段的值进行不去重汇总,产生array类型字段。
列转行(一列转多行)
Split(str, separator):将字符串按照后面的分隔符切割,转换成字符array。
EXPLODE(col):将hive一列中复杂的array或者map结构拆分成多行。
用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias
OVER():指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而变化。
CURRENT ROW:当前行
n PRECEDING:往前n行数据
n FOLLOWING:往后n行数据
UNBOUNDED:无边界
UNBOUNDED PRECEDING 前无边界,表示从前面的起点,
UNBOUNDED FOLLOWING后无边界,表示到后面的终点
例子:rows between 1 PRECEDING AND 1 FOLLOWING
LAG(col,n,default_val):往前第n行数据
LEAD(col,n, default_val):往后第n行数据
FIRST_VALUE (col,true/false):当前窗口下的第一个值,第二个参数为true,跳过空值
LAST_VALUE (col,true/false):当前窗口下的最后一个值,第二个参数为true,跳过空值
NTILE(n):把有序窗口的行分发到指定数据的组中,各个组有编号,编号从1开始,对于每一行,NTILE返回此行所属的组的编号。注意:n必须为int类型。
窗口函数和聚合函数不能同时出现 子查询嵌套使用
窗口函数中如果要求结果有序,一定要在over中order by 否则是反向溢写
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)