mysql数据量上十万条后，查询慢导致服务器卡有什么解决办法

问题

我们有一个 SQL，用于找到没有主键 / 唯一键的表，但是在 MySQL 5.7 上运行特别慢，怎么办?

实验

我们搭建一个 MySQL 5.7 的环境，此处省略搭建步骤。

写个简单的脚本，制造一批带主键和不带主键的表：

执行一下脚本：

现在执行以下 SQL 看看效果：

...

执行了 16.80s，感觉是非常慢了。

现在用一下 DBA 三板斧，看看执行计划：

感觉有点惨，由于 information_schema.columns 是元数据表，没有必要的统计信息。

那我们来 show warnings 看看 MySQL 改写后的 SQL：

我们格式化一下 SQL：

可以看到 MySQL 将

select from A where A.x not in (select x from B) //非关联子查询

转换成了

select from A where not exists (select 1 from B where B.x = a.x) //关联子查询

如果我们自己是 MySQL，在执行非关联子查询时，可以使用很简单的策略：

select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录，找到满足条件的记录，存放在临时表 C 中，建好索引2. 扫描 A 表中的记录，与临时表 C 中的记录进行比对，直接在索引里比对，

而关联子查询就需要循环迭代：

select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA：     扫描 B 表，找到其中的第一条满足 rA 条件的记录。

显然，关联子查询的扫描成本会高于非关联子查询。

我们希望 MySQL 能先"缓存"子查询的结果（缓存这一步叫物化，MATERIALIZATION），但MySQL 认为不缓存更快，我们就需要给予 MySQL 一定指导。

...

可以看到执行时间变成了 0.67s。

整理

我们诊断的关键点如下：

\1. 对于 information_schema 中的元数据表，执行计划不能提供有效信息。

\2. 通过查看 MySQL 改写后的 SQL，我们猜测了优化器发生了误判。

\3. 我们增加了 hint，指导 MySQL 正确进行优化判断。

但目前我们的实验仅限于猜测，猜中了万事大吉，猜不中就无法做出好的诊断。

十万条数据已经够多了，通常最好的办法就是创建索引，创建索引的命令: CREATE INDEX index_name ON table_name(index_col_name,...) index_name:这是索引的创建名称，你自己命一个名称。table_name：这是数据表名称，你的应该是ware_detail。index_col_name：为哪一列数据创建索引，这个项目很重要，你的可以写ware_type，请确保这行是不是数字类型，因为数据类型比字符类型查询速度更快，最好将这一行设置一个固定长度，这样查询速度更快，如果这个行数据长度能短一点更好，越短就意味着查询速度越快。

臆测一下，十倍。

为什么说是臆测呢，因为我猜这并不是问很极端的情况。

详细说来，拆解每个查询消耗的时间，并不是每个步骤都与行数有关。

查1行，查10行，网络通讯都是占大部分时间，所以是10倍。

但是，如果你一次查10w行，并不会比10w次1行快10w倍，因为大数据量查询本来就慢。

延伸一下，以前我们做过一个优化，又来用这个case连续讲了4-5年。

这是一个UPDATE table SET col = col + N WHERE key = ?的查询，大概有5k QPS左右，跑不动。

改成了UPDATE table SET col = col + 1 WHERE key IN (?, ?, ?..... )的样子，数据库CPU从40%降到1%。

这个改变没有改变任何索引使用和网络传输，是不常见的，解析SQL瓶颈。

写这个例子，是要说，优化要根据具体情况分析，数据量和使用情况都会影响结论。

---