SQL Server两种分页性能比较

SQL Server 在2012版本中 提供了一种新的分页方式 fetch next

相比以前开窗函数来看有什么区别呢？ 我用 sql server 系统表产生笛卡尔积 做了一个测试

先来看一下数据量

在翻页数量不大的时候的比较 第20页的时候的比较

1、开窗函数

2、fetch next

可以看出所花费的时间相当接近的，两者都是12s

我们把页数增大，再来看看区别 第200000页的时候比较

一个花了39s，一个花了16s

当随着页数的增加 可以看出 fetch next 分页的性能是优于开窗函数的。

所以当你是使用sql server2012及以上版本的时候，建议还是采用 fetch next 来进行分页吧。

Q: oracle开窗函数对性能影响大吗 :

oracle开窗函数可以提高查询性能，但它也会对性能产生一定的影响。使用oracle开窗函数时，需要先将查询的数据集排序，这会产生额外的开销，影响查询性能。此外，使用oracle开窗函数会增加查询的复杂度，这也会使查询性能受到影响。

我也是用oracle数据库的，在实际开发中用到开窗函数和分析函数的机会还是很少的，用聚合函数的时候非常多，请LZ多关注聚合函数，下面是我上各大网站收集的，希望对楼主有所帮助。

分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是

对于每个组返回多行，而聚合函数对于每个组只返回一行。

下面通过几个例子来说明其应用。

1：统计某商店的营业额。

date sale

1 20

2 15

3 14

4 18

5 30

规则：按天统计：每天都统计前面几天的总额

得到的结果：

DATE SALE SUM

----- -------- ------

1 20 20 --1天

2 15 35 --1天＋2天

3 14 49 --1天＋2天＋3天

4 18 67

5 30 97

2:统计各班成绩第一名的同学信息

NAME CLASS S

----- ----- ----------------------

fda 1 80

ffd 1 78

dss 1 95

cfe 2 74

gds 2 92

gf 3 99

ddd 3 99

adf 3 45

asdf 3 55

3dd 3 78

通过：

--

select from

(

select name,class,s,rank()over(partition by class order by s desc) mm from t2

)

where mm=1

--

得到结果：

NAME CLASS S MM

----- ----- ---------------------- ----------------------

dss 1 95 1

gds 2 92 1

gf 3 99 1

ddd 3 99 1

注意：

1在求第一名成绩的时候，不能用row_number()，因为如果同班有两个并列第一，row_number()只返回一个结果

2rank()和dense_rank()的区别是：

--rank()是跳跃排序，有两个第二名时接下来就是第四名

--dense_rank()l是连续排序，有两个第二名时仍然跟着第三名

3分类统计 (并显示信息)

A B C

-- -- ----------------------

m a 2

n a 3

m a 2

n b 2

n b 1

x b 3

x b 2

x b 4

h b 3

select a,c,sum(c)over(partition by a) from t2

得到结果：

A B C SUM(C)OVER(PARTITIONBYA)

-- -- ------- ------------------------

h b 3 3

m a 2 4

m a 2 4

n a 3 6

n b 2 6

n b 1 6

x b 3 9

x b 2 9

x b 4 9

如果用sum，group by 则只能得到

A SUM(C)

-- ----------------------

h 3

m 4

n 6

x 9

无法得到B列值

＝＝＝＝＝

select from test

数据:

A B C

1 1 1

1 2 2

1 3 3

2 2 5

3 4 6

---将B栏位值相同的对应的C 栏位值加总

select a,b,c, SUM(C) OVER (PARTITION BY B) C_Sum

from test

A B C C_SUM

1 1 1 1

1 2 2 7

2 2 5 7

1 3 3 3

3 4 6 6

---如果不需要已某个栏位的值分割,那就要用 null

eg: 就是将C的栏位值summary 放在每行后面

select a,b,c, SUM(C) OVER (PARTITION BY null) C_Sum

from test

A B C C_SUM

1 1 1 17

1 2 2 17

1 3 3 17

2 2 5 17

3 4 6 17

求个人工资占部门工资的百分比

SQL> select from salary;

NAME DEPT SAL

---------- ---- -----

a 10 2000

b 10 3000

c 10 5000

d 20 4000

SQL> select name,dept,sal,sal100/sum(sal) over(partition by dept) percent from salary;

NAME DEPT SAL PERCENT

---------- ---- ----- ----------

a 10 2000 20

b 10 3000 30

c 10 5000 50

d 20 4000 100

二：开窗函数

开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化，举例如下：

1：

over（order by salary） 按照salary排序进行累计，order by是个默认的开窗函数

over（partition by deptno）按照部门分区

2：

over（order by salary range between 5 preceding and 5 following）

每行对应的数据窗口是之前行幅度值不超过5，之后行幅度值不超过5

例如:对于以下列

aa

1

2

2

2

3

4

5

6

7

9

sum(aa)over（order by aa range between 2 preceding and 2 following）

得出的结果是

AA SUM

---------------------- -------------------------------------------------------

1 10

2 14

2 14

2 14

3 18

4 18

5 22

6 18

7 22

9 9

就是说，对于aa=5的一行，sum为 5-1<=aa<=5+2 的和

对于aa=2来说，sum=1+2+2+2+3+4=14 ；

又如 对于aa=9 ，9-1<=aa<=9+2 只有9一个数，所以sum=9 ；

3：其它：

over（order by salary rows between 2 preceding and 4 following）

每行对应的数据窗口是之前2行，之后4行

4：下面三条语句等效：

over（order by salary rows between unbounded preceding and unbounded following）

每行对应的数据窗口是从第一行到最后一行，等效：

over（order by salary range between unbounded preceding and unbounded following）

等效

over(partition by null)

other（

数用于计算基于组的某种聚合值，它和聚合函数的不同之处是对于每个组返回多行，而聚合函数对于每个组只返回一行。

一、 over函数

over函数指定了分析函数工作的数据窗口的大小，这个数据窗口大小可能会随着行的变化而变化，例如：

over(order by salary)按照salary排序进行累计，order by是个默认的开窗函数

over(partition by deptno) 按照部门分区

over(order by salary range between 50 preceding and 150 following)每行对应的数据窗口是之前行幅度值不超过50，之后行幅度值不超过150的数据记录

over(order by salary rows between 50 perceding and 150 following)前50行，后150行

over（order by salary rows between unbounded preceding and unbounded following）所有行

over（order by salary range between unbounded preceding and unbounded following）所有行

二、 sum函数

功能描述：该函数计算组中表达式的累积和。

SAMPLE：下例计算同一经理下员工的薪水累积值

SELECT manager_id, last_name, salary,

SUM (salary) OVER (PARTITION BY manager_id ORDER BY salary

RANGE UNBOUNDED PRECEDING) l_csum

FROM employees

WHERE manager_id in (101,103,108);

三、 应用实例

1， 测试环境设置

设有销售表t_sales (subcompany,branch,region,customer,sale_qty); 存储客户的销售明细，记录如下所示。

Subcompany Branch Region Customer Sale_qty

北京分公司 北京经营部 片区1 客户1 1

北京分公司 北京经营部 片区1 客户1 1

北京分公司 北京经营部 片区1 客户2 1

北京分公司 北京经营部 片区1 客户2 1

北京分公司 北京经营部 片区2 客户1 1

北京分公司 北京经营部 片区2 客户1 1

北京分公司 北京经营部 片区2 客户2 1

北京分公司 北京经营部 片区2 客户2 1

北京分公司 其他经营部 片区1 客户1 1

北京分公司 其他经营部 片区1 客户1 1

北京分公司 其他经营部 片区1 客户2 1

北京分公司 其他经营部 片区1 客户2 1

北京分公司 其他经营部 片区2 客户1 1

北京分公司 其他经营部 片区2 客户1 1

北京分公司 其他经营部 片区2 客户2 1

北京分公司 其他经营部 片区2 客户2 1

create table t_sales(

subcompany varchar2(40),

branch varchar2(40),

region varchar2(40),

customer varchar2(40),

sale_qty numeric(18,4)

);

comment on table t_sales is '销售表，分析函数测试';

comment on column t_salessubcompany is '分公司';

comment on column t_salesbranch is '经营部';

comment on column t_salesregion is '片区';

comment on column t_salescustomer is '客户';

comment on column t_salessale_qty is '销售数量';

2，问题提出

现在要求给出销售汇总报表，报表中需要提供的数据包括客户汇总，和客户在其上级机构中的销售比例。

Subcompany Branch Region Customer Sale_qty Rate

北京分公司 北京经营部 片区1 客户1 2 50％

北京分公司 北京经营部 片区1 客户2 2 50％

北京分公司 北京经营部 片区1 小计 4 50％

北京分公司 北京经营部 片区2 客户1 2 50％

北京分公司 北京经营部 片区2 客户2 2 50％

北京分公司 北京经营部 片区2 小计 4 50％

北京分公司 北京经营部 小计 小计 8 50％

北京分公司 北京经营部 片区1 客户1 2 50％

北京分公司 北京经营部 片区1 客户2 2 50％

北京分公司 北京经营部 片区1 小计 4 50％

北京分公司 北京经营部 片区2 客户1 2 50％

北京分公司 北京经营部 片区2 客户2 2 50％

北京分公司 北京经营部 片区2 小计 4 50％

北京分公司 北京经营部 小计 小计 8 50％

北京分公司 小计 小计 小计 16 100％

3，解决方案（方案1）

首先我们可以使用oracle对group by 的扩展功能rollup得到如下的聚合汇总结果。

select

subcompany,

branch,

region,

customer,

sum(sale_qty) sale_qty

from t_sales

group by rollup(subcompany,branch,region,customer);

Subcompany Branch Region Customer Sale_qty

北京分公司 北京经营部 片区1 客户1 2

北京分公司 北京经营部 片区1 客户2 2

北京分公司 北京经营部 片区1 4

北京分公司 北京经营部 片区2 客户1 2

北京分公司 北京经营部 片区2 客户2 2

北京分公司 北京经营部 片区2 4

北京分公司 北京经营部 8

北京分公司 其他经营部 片区1 客户1 2

北京分公司 其他经营部 片区1 客户2 2

北京分公司 其他经营部 片区1 4

北京分公司 其他经营部 片区2 客户1 2

北京分公司 其他经营部 片区2 客户2 2

北京分公司 其他经营部 片区2 4

北京分公司 其他经营部 8

北京分公司 16

16

分析上面的临时结果，我们看到：

明细到客户的汇总信息，其除数为当前的sum(sale_qty),被除数应该是到片区的小计信息。

明细到片区的汇总信息，其除数为片区的sum(sale_qty),被除数为聚合到经营部的汇总数据。

。。。

考虑到上述因素，我们可以使用oracle的开窗函数over，将数据定位到我们需要定位的记录。如下代码中，我们利用开窗函数over直接将数据定位到其上次的小计位置。

over(partition by decode(f_branch, 1, null, subcompany), decode(f_branch, 1, null, decode(f_region, 1, null, branch)), decode(f_branch, 1, null, decode(f_region, 1, null, decode(f_customer, 1, null, region))), null)

经整理后的查询语句如下。

select subcompany,

decode(f_branch, 1,subcompany||'(С¼Æ)', branch),

decode(f_region,1,branch||'(С¼Æ)',region),

decode(f_customer,1,region||'(С¼Æ)', customer),

sale_qty,

trim(to_char(round(sale_qty/

sum(sale_qty) over(partition by decode(f_branch, 1, null, subcompany), decode(f_branch, 1, null, decode(f_region, 1, null, branch)), decode(f_branch, 1, null, decode(f_region, 1, null, decode(f_customer, 1, null, region))), null),2) 100,9999099))

from (select grouping(branch) f_branch,

grouping(region) f_region,

grouping(customer) f_customer,

subcompany,

branch,

region,

customer,

sum(sale_qty) sale_qty

from t_sales

group by subcompany, rollup(branch, region, customer))

Subcompany Branch Region Customer Sale_qty Rate

北京分公司 北京经营部 片区1 客户1 2 5000

北京分公司 北京经营部 片区1 客户2 2 5000

北京分公司 北京经营部 片区2 客户1 2 5000

北京分公司 北京经营部 片区2 客户2 2 5000

北京分公司 北京经营部 片区1 片区1(小计) 4 5000

北京分公司 北京经营部 片区2 片区2(小计) 4 5000

北京分公司 其他经营部 片区1 客户1 2 5000

北京分公司 其他经营部 片区1 客户2 2 5000

北京分公司 其他经营部 片区2 客户1 2 5000

北京分公司 其他经营部 片区2 客户2 2 5000

北京分公司 其他经营部 片区1 片区1(小计) 4 5000

北京分公司 其他经营部 片区2 片区2(小计) 4 5000

北京分公司 北京经营部 北京经营部(小计) (小计) 8 5000

北京分公司 其他经营部 其他经营部(小计) (小计) 8 5000

北京分公司 北京分公司(小计) (小计) (小计) 16 10000

北京分公司 北京经营部 片区1 客户1 2 5000

4，可能的另外一种解决方式（方案2）

select subcompany,

decode(f_branch, 1,subcompany||'(С¼Æ)', branch),

decode(f_region,1,branch||'(С¼Æ)',region),

decode(f_customer,1,region||'(С¼Æ)', customer),

sale_qty,

/ trim(to_char(round(sale_qty//

decode(f_branch+f_region+f_customer,

0,

(sum(sale_qty) over(partition by subcompany,branch,region))/2,

1,

(sum(sale_qty) over(partition by subcompany,branch))/3,

2,

(sum(sale_qty) over(partition by subcompany))/4 ,

sum(sale_qty) over()/4

)/

,2) 100,9999099))/

from (select grouping(branch) f_branch,

grouping(region) f_region,

grouping(customer) f_customer,

subcompany,

branch,

region,

customer,

sum(sale_qty) sale_qty

from t_sales

group by subcompany, rollup(branch, region, customer))

在上面的解决方式中，最大的问题在于开窗函数过大。导致每次计算涉及到的行数过多，影响到执行的速度和效率。并且需要额外的计算处理清除多余叠加进去的数值 。

）

row_number方法，相当于groupTopN。分组排序应用非常广泛。

package comdtspark

import orgapachesparksqlhiveHiveContext

import orgapachespark{SparkContext, SparkConf}

object SparkSQLWindowFunctionOps {

def main(args:Array[String]) {

val conf: SparkConf = new SparkConf()setAppName("SparkSQLWindowFunctionOps")setMaster("spark://Master:7077")

val sc = new SparkContext(conf)

val hiveContext = new HiveContext(sc) //构建SQL上下文！