Mysql使用limit深度分页优化

mysql使用select * limit offset, rows分页在深度分页的情况下。性能急剧下降。

limit用于数据的分页查询，当然也会用于数据的截取，下面是limit的用法：

1. 模仿百度、谷歌方案（前端业务控制）

类似于分段。我们给每次只能翻100页、超过一百页的需要重新加载后面的100页。这样就解决了每次加载数量数据大 速度慢的问题了

2. 记录每次取出的最大id， 然后where id >最大id

select * from table_name Where id >最大id limit 10000, 10

这种方法适用于：除了主键ID等离散型字段外，也适用连续型字段datetime等

最大id由前端分页pageNum和pageIndex计算出来。

3. IN获取id

4. join方式 + 覆盖索引（推荐）

如果对于有where 条件，又想走索引用limit的，必须设计一个索引，将where 放第一位，limit用到的主键放第2位，而且只能select 主键！

1. jdbcpagingReader使用方式

2. db索引分区器使用方式

入参1： 表名 如test_table

入参2： 排序索引字段 可以是主键，也可以是其他索引。需要保证是唯一索引即可。如：id

入参3： 主键可手动传入，也可以根据表名计算出来：现在只支持单列主键的。 如：id

入参4:具体表 要分多少块。如：4

我代码中有一段类似的，也是网上找的，你可以参考下

SELECT CATE_CODE AS ID,PARENT_CODE AS 父ID ,levels AS 级数, paths AS 路径 FROM (

SELECT CATE_CODE,PARENT_CODE,

@le:= IF (PARENT_CODE = 0 ,0,

IF( LOCATE( CONCAT('|',PARENT_CODE,':'),@pathlevel)   >0  ,    

SUBSTRING_INDEX( SUBSTRING_INDEX(@pathlevel,CONCAT('|',PARENT_CODE,':'),-1),'|',1) +1

,@le+1) ) levels

, @pathlevel:= CONCAT(@pathlevel,'|',CATE_CODE,':', @le ,'|') pathlevel

, @pathnodes:= IF( PARENT_CODE =0,',0',

CONCAT_WS(',',

IF( LOCATE( CONCAT('|',PARENT_CODE,':'),@pathall) >0  ,

SUBSTRING_INDEX( SUBSTRING_INDEX(@pathall,CONCAT('|',PARENT_CODE,':'),-1),'|',1)

,@pathnodes ) ,PARENT_CODE  ) )paths

,@pathall:=CONCAT(@pathall,'|',CATE_CODE,':', @pathnodes ,'|') pathall

FROM  doc_category,

(SELECT @le:=0,@pathlevel:='', @pathall:='',@pathnodes:='') vv

ORDER BY  PARENT_CODE,CATE_CODE

) src

ORDER BY CATE_CODE

首先创建一个熟悉的机构表

插入几条测试数据：

union all上面的是初始化语句，只会执行一次，查到了 开发部 这一行记录。

接下来下面的join会用初始化的语句去原来的organization表去join获取所有 开发部的子部门 ，然后再用这些 子部门 去join更下面的部门。

执行的结果如下：

如下想查询开发部的所有上级部门的话上面的递归查询语句简单改一下就可以了：

执行结果如下：

Recursive Common Table Expression 'temp' can contain neither

aggregation nor window functions in recursive query block

mysql

mysql对递归的深度是有限制的，默认的递归深度是1000。

可以通过 show variables like 'cte_max_recursion_depth'进行查看

也可以通过select语句最大执行时间对递归加以显示， show variables lile 'max_execution_time'

---