MySQL 表数据多久刷一次盘?

MySQL 表数据多久刷一次盘?,第1张

前言

事情是这样的,在某乎的邀请回答中看到了这个问题:

然后当时我没多想就啪一下写下来这样的答案:

这个其实要通过 MySQL 后台线程来刷的,在 Buffer Pool 中被修改的过的 Page(页)都会被标记成脏页,放到一个链表(Flush 链表)里。

然后 MySQL 通过启动后台线程,在满足条件时将 Flush 链表中的脏页刷入磁盘

满足的条件是:  脏页的数量  达到了 Buffer Pool 中页数量的 **10% ,当然 10% 这个值是可变的,通过配置项 innodb_max_dirty_pages_pct_lwm 来配置的,其默认值为 10%,并且这个值也必须小于另一个配置 innodb_max_dirty_pages_pct 的值( 90%**)。

至于启多少个线程,则是由另一个变量 innodb_page_cleaners 来控制的,默认是 4.一般都不会去改这个。

大概就是这样。

但是,后面有兄弟在下面说:”我唔知你喺讲乜“。

后面我回过头去看,当时写的确实有点过于跳跃了,过一段时间再去看有些不是那么连贯,打算重新把这个事情讲清楚。

1. 表数据

我们这篇「短文」讨论的是【MySQL 表数据多久刷一次盘】,从这个标题中我们可以分裂成两个问题:

刷什么到磁盘

什么时候刷到磁盘

我们分开来讨论。

2. 刷什么到磁盘

看上去有点废话,肯定是将数据刷入磁盘。所以我们更多需要讨论的是【数据是以什么样的形式被刷入磁盘】。

答案是页

对页不太了解的可以去看看之前写的文章:  MySQL 页完全指南——浅入深出页的原理

在 Inn

oDB 中,  页  是数据被管理的最小的单位。当使用 InnoDB 作为存储引擎的 MySQL 运行时,表中一行一行的数据会被组织在一页一页当中,放在 Buffer Pool 中。

Buffer Pool 可以看另一篇:  详细了解 InnoDB 内存结构及其原理

这一页一页的数据,就存放在 Buffer Pool 中。当 DML 语句(也就是 CRUD)语句对表数据进行了变更之后,数据所在的那一页就会被标记为  脏页  。

InnoDB 会用一个叫【Flush 链表】的结构来存放这些脏页,凡是被放进该链表的页都代表需要  刷入磁盘  ,但不是立即刷入。

和 InnoDB 的其他日志例如 Redo Log 一样,这些日志都是有自己的  刷盘策略  。例如 Redo Log,其刷盘策略可以用下图来表示:

参数为0,Redo Log 会每隔一秒,写入并且刷入磁盘。

参数为1,Redo Log 会在每次事务提交之后刷入磁盘

参数为2,每次事务提交,都会写到 OS 缓存中去,然后每隔一秒将 OS 缓存中的数据刷入磁盘

而 Flush 链表也有自己的策略。

3. 什么时候刷到磁盘

接上节,策略就是:  脏页的数量  达到了 Buffer Pool 中页数量的 **10%**,就会触发将 Flush 链表中的脏页刷入磁盘。举个例子,Buffer Pool 中总共有 100 张页,脏页如果达到了 10 页就会启动后台线程,触发刷盘。

当然,【10%】这个数值是可配置的,通过 MySQL 配置项 innodb_max_dirty_pages_pct_lwm 可以进行调整,只是默认值是 10%。但是我们调整的值不能超过某个最大值,这个最大值由 innodb_max_dirty_pages_pct 来指定,默认值为 90%。

换句话说,默认情况,刷盘阈值是 10%,如果需要自定义,则最大值不能超过 90%。

4. 谁来负责刷盘

上个小节已经说过了,会启动线程来专门做这个事情,这个没有什么疑问。我们需要关注的是会启动多少个线程来做这个事。

答案是 4 个,我们也可以通过配置项 innodb_page_cleaners 来更改,但一般都不会去改这个值。

关于这个点就聊到这。

事务每次提交都会将log buffer中的日志写入os buffer并调用fsync()刷到log file on disk中。这种方式即使系统崩溃也不会丢失任何数据,但是因为每次提交都写入磁盘,IO的性能较差。

事务提交时不会将log buffer中日志写入到os buffer,而是每秒写入os buffer并调用fsync()写入到log file on disk中。也就是说设置为0时是(大约)每秒刷新写入到磁盘中的,当系统崩溃,会丢失1秒钟的数据。

每次提交都仅写入到os buffer,然后是每秒调用fsync()将os buffer中的日志写入到log file on disk。

以上出自https://www.cnblogs.com/f-ck-need-u/archive/2018/05/08/9010872.html

当我们在导入大量数据时,控制innodb_flush_log_at_trx_commit =2,即可节省导入时间,待测试


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/8545514.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-17
下一篇 2023-04-17

发表评论

登录后才能评论

评论列表(0条)

保存