事情是这样的,在某乎的邀请回答中看到了这个问题:
–
然后当时我没多想就啪一下写下来这样的答案:
这个其实要通过 MySQL 后台线程来刷的,在 Buffer Pool 中被修改的过的 Page(页)都会被标记成脏页,放到一个链表(Flush 链表)里。
然后 MySQL 通过启动后台线程,在满足条件时将 Flush 链表中的脏页刷入磁盘。
满足的条件是: 脏页的数量 达到了 Buffer Pool 中页数量的 **10% ,当然 10% 这个值是可变的,通过配置项 innodb_max_dirty_pages_pct_lwm 来配置的,其默认值为 10%,并且这个值也必须小于另一个配置 innodb_max_dirty_pages_pct 的值( 90%**)。
至于启多少个线程,则是由另一个变量 innodb_page_cleaners 来控制的,默认是 4.一般都不会去改这个。
大概就是这样。
但是,后面有兄弟在下面说:”我唔知你喺讲乜“。
后面我回过头去看,当时写的确实有点过于跳跃了,过一段时间再去看有些不是那么连贯,打算重新把这个事情讲清楚。
1. 表数据
我们这篇「短文」讨论的是【MySQL 表数据多久刷一次盘】,从这个标题中我们可以分裂成两个问题:
刷什么到磁盘
什么时候刷到磁盘
我们分开来讨论。
2. 刷什么到磁盘
看上去有点废话,肯定是将数据刷入磁盘。所以我们更多需要讨论的是【数据是以什么样的形式被刷入磁盘】。
答案是页
对页不太了解的可以去看看之前写的文章: MySQL 页完全指南——浅入深出页的原理
在 Inn
oDB 中, 页 是数据被管理的最小的单位。当使用 InnoDB 作为存储引擎的 MySQL 运行时,表中一行一行的数据会被组织在一页一页当中,放在 Buffer Pool 中。
Buffer Pool 可以看另一篇: 详细了解 InnoDB 内存结构及其原理
这一页一页的数据,就存放在 Buffer Pool 中。当 DML 语句(也就是 CRUD)语句对表数据进行了变更之后,数据所在的那一页就会被标记为 脏页 。
InnoDB 会用一个叫【Flush 链表】的结构来存放这些脏页,凡是被放进该链表的页都代表需要 刷入磁盘 ,但不是立即刷入。
和 InnoDB 的其他日志例如 Redo Log 一样,这些日志都是有自己的 刷盘策略 。例如 Redo Log,其刷盘策略可以用下图来表示:
参数为0,Redo Log 会每隔一秒,写入并且刷入磁盘。
参数为1,Redo Log 会在每次事务提交之后刷入磁盘
参数为2,每次事务提交,都会写到 OS 缓存中去,然后每隔一秒将 OS 缓存中的数据刷入磁盘
而 Flush 链表也有自己的策略。
3. 什么时候刷到磁盘
接上节,策略就是: 脏页的数量 达到了 Buffer Pool 中页数量的 **10%**,就会触发将 Flush 链表中的脏页刷入磁盘。举个例子,Buffer Pool 中总共有 100 张页,脏页如果达到了 10 页就会启动后台线程,触发刷盘。
当然,【10%】这个数值是可配置的,通过 MySQL 配置项 innodb_max_dirty_pages_pct_lwm 可以进行调整,只是默认值是 10%。但是我们调整的值不能超过某个最大值,这个最大值由 innodb_max_dirty_pages_pct 来指定,默认值为 90%。
换句话说,默认情况,刷盘阈值是 10%,如果需要自定义,则最大值不能超过 90%。
4. 谁来负责刷盘
上个小节已经说过了,会启动线程来专门做这个事情,这个没有什么疑问。我们需要关注的是会启动多少个线程来做这个事。
答案是 4 个,我们也可以通过配置项 innodb_page_cleaners 来更改,但一般都不会去改这个值。
关于这个点就聊到这。
字符串加索引的方式?
对于字符串进行添加索引,我们除了对整个字符串加索引以外,还可以添加前缀索引。
什么是前缀索引?
前缀索引的好处?
使用前缀索引,定义好长度,可以做到即节省空间,又不用额外增加太多的查询成本。
前缀索引的弊端?
前缀索引会使覆盖索引失效,额外增加回表的消耗,如果前缀索引的长度选择区分度不高,会额外导致扫描行数增加。
其他给字符串加索引的方式?
什么是脏页?
MySQL在更新数据的时候会写redo log并且更新内存以后就会返回,数据文件并不会立即更新,这就是所谓的WAL机制。
当内存被更新以后,内存中的数据页就会和磁盘上的数据页存在不一致的情况,该内存也就被称为 脏页 。
内存中的数据被写入磁盘以后,内容变为一致,此时该内存页就被称为干净页。
什么叫刷脏页?
内存数据页中的内容被写入磁盘数据页中的过程称为刷脏页。
什么时候会刷脏页?
InnoDB如何控制刷脏页的频率?
首先确认InnoDB所在主机的IO能力,此时需要用到数据库的innodb_io_capacity参数,该参数推荐设置为磁盘的IOPS。磁盘的IOPS可以通过fio工具进行测试。
InndoDB刷脏页主要考虑以下两个因素:
MySQL会根据F1(M)和F2(N)两个值,取其中较大的值记为R,之后引擎可以按照innodb_io_capacity定义的能力乘以R%来控制刷脏页的速度。
脏页比例
参数innodb_max_dirty_pages_pct是脏页比例的上限,MySQL 8.0中是90%。
当前脏页比例可以通过Innodb_buffer_pool_pages_dirty/Innodb_buffer_pool_pages_total计算获得,具体sql计算指令如下:
连坐机制
InnoDB在刷脏页的时候,如果该脏页旁边的是页也是脏页,会同时把相邻的脏页刷掉。
该刷脏页行为由参数innodb_flush_neighbors控制:
对于机械硬盘,开启连坐会减少随机IO的消耗,但对于SSD,没必要开启该参数。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)