MySQL大数据量分页查询方法及其优化

使用子查询优化大数据量分页查询

这种方式的做法是先定位偏移位置的id，然后再往后查询，适用于id递增的情况。

使用id限定优化大数据量分页查询

使用这种方式需要先假设数据表的id是连续递增的，我们根据查询的页数和查询的记录数可以算出查询的id的范围，可以使用 id between and 来查询：

当然了，也可以使用in的方式来进行查询，这种方式经常用在多表关联的情况下，使用其他表查询的id集合来进行查询：

但是使用这种in查询方式的时候要注意的是，某些MySQL版本并不支持在in子句中使用limit子句。

参考 sql优化之大数据量分页查询（mysql） - yanggb - 博客园 (cnblogs.com)

在互联网公司中，MySQL是使用最多的数据库，那么在并发量大、数据量大的互联网业务中，如果高效的使用MySQL才能保证服务的稳定呢？根据本人多年运维管理经验的总结，梳理了一些核心的开发规范，希望能给大家带来一些帮助。

一、基础规范

二、库表设计

问题：使用VARCHAR(5) 和VARCHAR(200) 存储’hello’的磁盘空间开销是一样的,使用更短的列表有什么优势吗？

更大的定义列会消耗更多的内存，因为MySQL通常会分配固定大小的内存块来保存内部值,尤其是使用内存临时表进行排序或 *** 作时会特别糟糕

三、索引设计

基本规则：索引不是越多越好，能不添加的索引尽量不要添加，过多的索引会严重降低数据插入和更新的效率，并带来更多的读写冲突和死锁！

示例：假设在表tab中id建立了索引

四、SQL优化

示例：

字段： code varchar(50) NOT NULL COMENT ‘编码’ #code上建立了索引

SELECT id,name,addr from tab_name where code=10001不会使用索引

SELECT id,name,addr from tab_name where code='10001'会使用索引

Select * from table limit 10000,10；

LIMIT原理：

Limit 10000,10 偏移量越大则越慢

Select * from table WHERE id>=23423 limit 11#10+1 (每页10条)

Select * from table WHERE id>=23434 limit 11

Select * from table WHERE id >= ( select id from table limit 10000,1 ) limit 10

Select * from table INNER JOIN (SELECT id from table limit 10000,10) USING(id)

最后说明：

上述规范是多年MySQL数据库使用的经验总结，希望能给大家带来一些启发和帮助！

查询大量数据的,如果出现如下情况,就说明最大内存已经耗尽:

可临时修改脚本使用内存大小进行处理:

注意：

当使用libmysqlclient作为库时，PHP的内存限制将不会计算用于结果集的内存，除非将数据读入PHP变量。与mysqlnd的内存占用将包括完整的结果集。

由于缓冲查询是默认的，下面的示例将演示如何使用每个API执行无缓冲的查询。

---