MySQL大数据量分页查询方法及其优化

使用子查询优化大数据量分页查询

这种方式的做法是先定位偏移位置的id，然后再往后查询，适用于id递增的情况。

使用id限定优化大数据量分页查询

使用这种方式需要先假设数据表的id是连续递增的，我们根据查询的页数和查询的记录数可以算出查询的id的范围，可以使用 id between and 来查询：

当然了，也可以使用in的方式来进行查询，这种方式经常用在多表关联的情况下，使用其他表查询的id集合来进行查询：

但是使用这种in查询方式的时候要注意的是，某些MySQL版本并不支持在in子句中使用limit子句。

参考 sql优化之大数据量分页查询（mysql） - yanggb - 博客园 (cnblogs.com)

这个主键ID其实已经是有建立了索引的了，而在IN查询当中并没有用到而已，其实你可以试试IN里的id少些时，是会用到索引的，但当IN里的id占据全表的大部分数据量时，mysql采用的时全表扫描。在这个时候可以考虑：1.split返回临时表进行表连接，2.使用缓存遍历

子查询优化策略

对于不同类型的子查询，优化器会选择不同的策略。

1. 对于 IN、=ANY 子查询，优化器有如下策略选择：

semijoin

Materialization

exists

2. 对于 NOT IN、<>ALL 子查询，优化器有如下策略选择：

Materialization

exists

3. 对于 derived 派生表，优化器有如下策略选择：

derived_merge，将派生表合并到外部查询中（5.7 引入 ）；

将派生表物化为内部临时表，再用于外部查询。

注意：update 和 delete 语句中子查询不能使用 semijoin、materialization 优化策略

---