MySQL的limit 优化

mysql 5.7.28

按id增序 导出t_order_detail表数据，由于数据量过多，防止一次查询数据量大多导致异常，批量查询数据，每次查询200条数据，数据量50万，查询出的数据量5万多条。

SQL如下

Explain结果

《高性能MySql第三版》章节6.7.5 优化Limit分页中提到，在偏移量非常大的时候，例如可能是LIMIT 1000,20 这样的查询，这时候MySQL需要查询10020条记录然后只返回最后20条，前面10000条记录都将被抛弃，这样的代价非常高。要优化此种查询，要么在页面中限制分页数量，要么是优化大偏移量的性能。使用“延迟关联”，它让MySQL扫描尽可能少的页面，获取需要要访问的记录后再根据关联列回原表查询需要的所有列。

Explain结果

也没看不出来区别，直接用SQL执行看消耗的时间

这个延迟关联蛮简单的(自我感觉)，为啥MySQL不直接内部实现优化呢？

延迟关联到底节省了哪部分动作消耗的时间，如果只是如下的SQL,那就根本没必要关联，在查询了其他的字段后，才需要延迟关联。所以是节省了获取其他字段的消耗的时间？还是排序时多个字段后更加耗时？

当前SQL使用id排序，可以直接使用上一页数据最后一条数据的Id做筛选，这样直接筛选出需要的数据，查询查第49999条数据的order_id为707352，SQL如下

Explain结果

此种优化方法要求 使用唯一的字段排序。

高性能MySql

MySQL ORDER BY _ LIMIT performance_ late row lookups at EXPLAIN EXTENDED

第一种：MySQL 随机排序常规写法：展开目录

SELECT*FROMusersWHEREtotalScoreBETWEEN5AND100ORDERBYRAND()LIMIT100

执行耗时 1.18s

SELECT*FROMusersWHEREtotalScoreBETWEEN5AND100ORDERBYRAND()LIMIT100

执行耗时 1.25s

这样的耗时不能接受。

第二种：stackoverflow 上找了一个黑科技写法：展开目录

SELECT*FROMusersWHEREtotalScoreBETWEEN5AND100ORDERBY37*(UNIX_TIMESTAMP() ^id) &0xffffLIMIT100

执行耗时 150ms

SELECT*FROMusersWHEREtotalScoreBETWEEN5AND100ORDERBY37*(UNIX_TIMESTAMP() ^id) &0xffffLIMIT100

执行耗时 153ms

执行耗时直接缩短至 150ms，已经比上一个写法快很多了，而且 LIMIT 1000 时耗时也是 150ms 左右。

第三种方式：展开目录

SELECT*

FROMusersASu

INNERJOIN(SELECTidFROMusersWHEREtotalScoreBETWEEN5AND100ORDERBYRAND()LIMIT100)AStONt.id=u.id

WHERE1

执行耗时 110ms

LIMIT 1000 时耗时也稳定在 110ms 左右。

耗时最少，推荐使用第三种。

---