具体问题具体分析，举例来说明为什么磁盘IO成瓶颈数据库的性能急速下降了。
为什么当磁盘IO成瓶颈之后, 数据库的性能不是达到饱和的平衡状态，而是急剧下降。为什么数据库的性能有非常明显的分界点，原因是什么？
相信大部分做数据库运维的朋友，都遇到这种情况。 数据库在前一天性能表现的相当稳定，数据库的响应时间也很正常，但就在今天，在业务人员反馈业务流量没有任何上升的情况下，数据库的变得不稳定了，有时候一个最简单的insert *** 作， 需要几十秒，但99%的insert却又可以在几毫秒完成，这又是为什么了？
dba此时心中有无限的疑惑，到底是什么原因呢? 磁盘IO性能变差了？还是业务运维人员反馈的流量压根就不对？ 还是数据库内部出问题？昨天不是还好好的吗？
当数据库出现响应时间不稳定的时候，我们在 *** 作系统上会看到磁盘的利用率会比较高，如果观察仔细一点，还可以看到，存在一些读的IO. 数据库服务器如果存在大量的写IO,性能一般都是正常跟稳定的，但只要存在少量的读IO,则性能开始出现抖动，存在大量的读IO时（排除配备非常高速磁盘的机器），对于在线交易的数据库系统来说，大概性能就雪崩了。为什么 *** 作系统上看到的磁盘读IO跟写IO所带来的性能差距这么大呢？
如果亲之前没有注意到上述的现象，亲对上述的结论也是怀疑。但请看下面的分解。
在写这个文章之前，作者阅读了大量跟的IO相关的代码，如异步IO线程的相关的，innodb_buffer池相关的，以及跟读数据块最相关的核心函数buf_page_get_gen函数以及其调用的相关子函数。为了将文章写得通俗点，看起来不那么累，因此不再一行一行的将代码解析写出来。
咱们先来提问题。 buf_page_get_gen函数的作用是从Buffer bool里面读数据页，可能存在以下几种情况。
提问. 数据页不在buffer bool 里面该怎么办？
回答：去读文件，将文件中的数据页加载到buffer pool里面。下面是函数buffer_read_page的函数，作用是将物理数据页加载到buffer pool, 图片中显示
buffer_read_page函数栈的顶层是pread64(),调用了 *** 作系统的读函数。
buf_read_page的代码
如果去读文件，则需要等待物理读IO的完成，如果此时IO没有及时响应，则存在堵塞。这是一个同步读的 *** 作，如果不完成该线程无法继续后续的步骤。因为需要的数据页不再buffer 中，无法直接使用该数据页，必须等待 *** 作系统完成IO .
再接着上面的回答提问：
当第二会话线程执行sql的时候，也需要去访问相同的数据页，它是等待上面的线程将这个数据页读入到缓存中，还是自己再发起一个读磁盘的然后加载到buffer的请求呢？ 代码告诉我们，是前者，等待第一个请求该数据页的线程读入buffer pool。
试想一下，如果第一个请求该数据页的线程因为磁盘IO瓶颈，迟迟没有将物理数据页读入buffer pool, 这个时间区间拖得越长，则造成等待该数据块的用户线程就越多。对高并发的系统来说，将造成大量的等待。 等待数据页读入的函数是buf_wait_for_read，下面是该函数相关的栈。
通过解析buf_wait_for_read函数的下层函数，我们知道其实通过首先自旋加锁pin的方式，超过设定的自旋次数之后，进入等待，等待IO完成被唤醒。这样节省不停自旋pin时消耗的cpu,但需要付出被唤起时的开销。
再继续扩展问题： 如果会话线程A 经过物理IO将数据页1001读入buffer之后，他需要修改这个页，而在会话线程A之后的其他的同样需要访问数据页1001的会话线程，即使在数据页1001被入读buffer pool之后，将仍然处于等待中。因为在数据页上读取或者更新的时候，同样需要上锁，这样才能保证数据页并发读取/更新的一致性。
由此可见，当一个高并发的系统，出现了热点数据页需要从磁盘上加载到buffer pool中时，造成的延迟，是难以想象的。因此排在等待热点页队列最后的会话线程最后才得到需要的页，响应时间也就越长，这就是造成了一个简单的sql需要执行几十秒的原因。
再回头来看上面的问题，mysql数据库出现性能下降时，可以看到 *** 作系统有读IO。 原因是，在数据库对数据页的更改，是在内存中的，然后通过检查点线程进行异步写盘，这个异步的写 *** 作是不堵塞执行sql的会话线程的。所以，即使看到 *** 作系统上有大量的写IO，数据库的性能也是很平稳的。但当用户线程需要查找的数据页不在buffer pool中时，则会从磁盘上读取，在一个热点数据页不是非常多的情况下，我们设置足够大的innodb_buffer_pool的size, 基本可以缓存所有的数据页，因此一般都不会出现缺页的情况，也就是在 *** 作系统上基本看不到读的IO。 当出现读的IO时，原因时在执行buf_read_page_low函数，从磁盘上读取数据页到buffer pool, 则数据库的性能则开始下降，当出现大量的读IO，数据库的性能会非常差。
mysql读和写达到瓶颈，可以通过如下方法：1. 查看MySQL慢查询日志，是否有很多慢查询sql；
2. MySQL处在高负载环境下，磁盘IO读写过多，肯定会占用很多资源，必然会CPU占用过高，所以可以用top命令查看MySQL所在服务器的cpu使用情况，从而分析是否有瓶颈；
3. show processlist查看MySQL当前的执行状态，查看是否有大量的Sleep或Locked状态；
容量： 看硬件
InnoDB 最大容量64TB ，存储引擎将 InnoDB 表 保存在一个 表空间内（ 原始磁盘分区，由数个文件创建）。这样， 表大小 能超过 单独文件最大容量 。
MySQL 3.22( MyISAM )限制表大小 4GB ，最大表尺寸增加到65536TB（2567 – 1字节）。最大有效表尺寸通常是由 *** 作系统 对 文件大小限制 决定的， 不是 由MySQL内部限制决定。
最多 20亿个表 ，一个表允许定义1024列，每行的最大长度为8092字节（不包括文本和图像类型的长度）；
阿里《Java 开发手册》提出 单表行>500w 容量>2GB ，才分库分表
与 MySQL 配置及硬件 有关，实际记录的条数无关。因为表 索引 装载 到内存，InnoDB buffer size 足够 ，才能全加载进内存，查没问题。达量级限时，导致 内存无法存储索引 ，产生磁盘 IO，性能下降。增加硬件配置解决。500w算折中
QPS在8400左右 ：400个线程并发，插入100万条记录（4核2.33G、3G内存、SATA硬盘）https://www.iteye.com/blog/wwtang9527-1718292
写： 90-100M/S（机械硬盘，7200转）预计kB_wrtn/s在90M左右
https://www.cnblogs.com/zhiqian-ali/p/6336521.html
show variables like 'max_connections' mysql当前最大连接数
set global max_connections=1000 设置当前最大连接数为1000；mysql重启时失效,需要长期生效在my.ini 添加 max_connections=1000
从业务使用场景出发，根据RDS套餐类型和线上实际访问流量，来衡量性能指标，以便方便对标实际业务场景。
MySQL 5.7.21 Group Replication
MySQL 5.7.21 Group Replication with Consistent Read
同机房3节点、跨机房3节点
网络异常：长时间延时0.5ms，长时间延时2ms，丢包0.01%
场景1、2的差异可以衡量 跨机房网络 带来的 性能损耗
场景3关注在 网络质量变化 时带来的 性能变化
同机房3节点为 05 06 03 跨机房3节点为 05 06 01
机器部署：同IDC3台（永顺ys 03 05 06），跨IDC1台（广州gz 01）
同IDC RTT（06->05）：RTT min/avg/max/mdev = 0.051/0.059/0.070/0.010 ms
跨IDC RTT（01->05）：RTT min/avg/max/mdev = 0.739/0.749/0.810/0.027
跨IDC的网络耗时是同 IDC的1.3倍 ，在设置 延迟0.5ms后 的网络质量：
同IDC RTT（06->05）：RTT min/avg/max/mdev = 0.507/0.564/0.617/0.037
跨IDC RTT（01->05）：RTT min/avg/max/mdev = 1.199/1.248/1.315/0.046
跨IDC的网络耗时是 同IDC的2.2倍 ，在设置 延迟2ms后 的网络质量：
同IDC RTT（06->05）：RTT min/avg/max/mdev = 1.963/2.054/2.161/0.064 ms
跨IDC RTT（01->05）：RTT min/avg/max/mdev = 2.642/2.732/2.835/0.076 ms
参考：http://blog.720ui.com/2019/mysql_why_one_table_500w/?spm=a2c4e.10696291.0.0.26e819a4zY3hrA&aliyun
https://my.oschina.net/u/867417/blog/758690
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）