MySQL三种重要日志

日志是MySQL的重要组成部分，其中对于开发而言不得不关注三种重要的日志，分别是二进制日志（bin log）、事务日志（redo log、undo log）。接下来详细介绍这三种日志。

binlog叫做二进制日志，主要是用于记录MySQL表的逻辑变化过程。在实际应用过程中，通常被用于主从复制和数据恢复。

事务执行过程中，会先把日志写到binlog cache，事务提交的时候，再把binlog cache写到binlog文件中。

事务提交后的写入只是写入到文件系统的page cache，并没有把数据持久化到磁盘。持久化磁盘由 *** 作系统决定调用fsync。

MySQL提供了配置决定fsync的时机，当sync_binlog=0的时候，每次提交事务只写入page cache，不执行fsync。当sync_binlog=1的时候，表示每次提交事务都会执行fsync。当sync_binlog = N的时候，每次提交事务都写入page cache，累计多个事务才进行fsync。

显然，当sync_binlog = 1的时候，binlog日志不会丢失。当sync_binlog = N的时候，如果发生异常重启，会丢失N个事务的binlog日志。

STATEMENT

记录数据 *** 作的原始SQL，可能引发主库备库因索引选择不一致，导致数据执行结果不一致。

ROW

ROW基于行复制，只记录哪条数据被修改.缺点：占空间。比如DELETE 语句，对于STATEMENT只占用1条SQL。而ROW格式则需要把所有记录的数据记录下来。

MIXED

对于可能引发主备不一致的命令使用ROW格式，否则使用STATEMTNT

对于每一次更新 *** 作，MySQL都需要写入磁盘，然后需要找到对应那条记录并更新。IO成本较高和查找成本都很高。为了提高性能，MySQL会将更新 *** 作写入redo log，并更新内存。INNODB引擎会在适当的时候将 *** 作记录更新到磁盘。

[图片上传失败...(image-c6a1f2-1627716309698)]

undo log主要是记录了数据的逻辑变化，比如对应一条insear语句，undo log会记录一条delete语方便回退到更新前的值。

时刻A发生故障的话，由于binlog未写入，redo log回滚数据，两个日志数据是一致的。

时刻B发生故障，则需要判断binlog是否完整来决定如何恢复。

redo log和bin log的区别？

为什么redo log crash-safe，而bin log不可以？

MySQL通过内部两阶段提交协议来提交事务，如下图

具体实现如下图：

第一阶段 ：InnoDB prepare，持有prepare_commit_mutex，并且write/sync redo log；将rollback设置为Prepared状态，binlog prepare不作任何 *** 作；

第二阶段 ：包含两步，write/sync Binlog及 InnoDB commit (写入COMMIT标记后释放prepare_commit_mutex)；

考虑mysql以binlog的写入与否作为事务提交成功与否的标志，如果 在写入innodb commit标志时崩溃(binglog已经写文件但是还没有提交) ，则恢复时，会重新对commit标志进行写入；此时的事务崩溃恢复过程如下：

1)扫描最后一个Binlog文件，提取其中的xid；

2)InnoDB维持了状态为Prepare的事务链表，将这些事务的xid和Binlog中记录的xid做比较，如果在Binlog中存在，则提交，否则回滚事务。

但其中也会存在2个问题：

并发危机:全局大锁prepare_commit_mutex

Mysql5.6.5前的做法，加锁，串行化

无锁方案：如果能保证binlog write 和  Innodb commit的顺序一致性就可以解决该问题。

性能问题：参数sync_binlog =1 ,innodb_flush_log_at_trx_commit =1时，fsync *** 作频繁

数据持久化到磁盘:调用fsync将缓存中的数据刷新到磁盘（普通硬盘150次/s和SSD 1200次/S），影响TPS；Group Commit *** 作，在多个事务并发时，将等待fsync的多个事务合并为仅调用一次fsync *** 作，以解决innodb fsync的问题，对binlog 的fsync也适用

对上述两个问题的解决：

针对并发问题

Group *** 作，三个阶段都在维护一个队列。第一个进队列的线程称为leader线程，负责对队列里所有线程进行 *** 作；之后进入队列的线程称作follower线程，follower 线程进入队列后睡眠，等待leader完成 *** 作后将他们唤醒。注意：前一个队列leader进入后一个队列时，会把自己原队列的follower全加入进去。

针对一致性问题 

Group commit 分为三个阶段，每个阶段有一个线程在执行。分阶段的目的在于各个阶段可以并发执行，提升效率。

涉及参数说明：

sync_binlog =1 :启用group commit之后，其实已经不是一个事务去刷一次磁盘了，而是一组事务刷一次磁盘。图中1、2分别代表sync_binlog 不同配置下，通知其他线程（如dump线程）binlog 已经更新了，当配置为1时，要严格等到sync完毕之后才会发送广播通知, 如果sync_binlog配的是别的值，MySQL会把通知提前到1的位置

binlog_group_commit_sync_no_delay_count(组提交sync无延迟时间最大event数)及binlog_group_commit_sync_delay(组提交sync延迟时间，单位：毫秒)：一般来说我们认为group commit 中最耗时的 *** 作是sync阶段，于是我们可以在sync阶段在leader真正sync之前进行一个等待，以便让fsync一次性刷新更多的事务。这对需要等待sync 完之后才能进行的 *** 作(比如dump线程）可能有性能提升。

两阶段提交：

MYSQL_BIN_LOG作为协调者

MySQL 里经常说到的 WAL技术，也就是先写日志，再写磁盘。

当内存数据页跟磁盘数据页内容不一致的时候，我们成这个内存页为“脏页”。内存数据写入磁盘后，内存和磁盘上的数据页内容就一致了，称为“干净页”。

MySQL 从 内存更新到磁盘的过程，称为刷脏页的过程（flush）。

InnoDB 刷脏页的时机：

往前推进之后，就要把两个点之间的日志对应的所有脏页都 flush 到磁盘上。

这种情况是 InnoDB 要尽量避免的。因为出现这种情况，整个系统都不能接受更新。更新数会跌为0。

那么为什么不能直接淘汰所有的内存，下次请求的时候，再从磁盘读入数据页，然后 拿 redo log 出来应用？这其实也是从性能的角度来考虑的，刷脏页一定写盘，就保证了每个数据页只有两种情况：

这种情况在日常应用中其实是常态。 在InnoDB 中，使用缓冲池 （buffer pool）管理内存，缓冲池中的内存页有三种状态：

刷脏页是常态，所以如果出现以下的情况，都会明明显影响性能：

首先，需要让 InnoDB 正确指导系统的 IO 能力，来控制刷脏页的快慢。

innodb_io_capacity 这个参数，它会告诉 InnoDB 你的磁盘能力，所以尽量设置成磁盘的 IOPS。可以使用 fio 工具来获取。

然后，如果你来设计策略控制刷脏页的速度，会参考哪些因素呢？

这个问题可以这么想，如果刷太慢，会出现什么情况？首先是内存脏页太多，其次是 redo log 写满。

所以，InnoDB 的刷盘速度就是要参考这两个因素：一个是脏页比例，一个是 redo log 写盘速度。

参数 innodb_max_dirty_pages_pct 是脏页比例上限，默认是 75%。InnoDB 会根据当前的脏页比例，计算出一个数字 F1。

InnoDB 写入日志都会有一个序号，当前写入序号跟 checkpoint 对应的序号之间的差值，假设为N。InnoDB 会根据N 计算出 F2.

根据 F1和F2 取其中较大的值为 R，之后引擎就可以按照 Innodb_io_capacity 定义的能力乘以 R% 来控制刷脏页的速度。

MySQL 中有一个机制，刷脏页的时候如果数据页旁边的数据页也是脏页，那么就会一起刷掉，而且这个逻辑是可以蔓延的，所以对于每个相邻的数据页，都会被一起刷。

在 InnoDB 中，innodb_flush_neighbors 参数就是用来控制这个行为的，值为 1 的时候会有上述的“连坐”机制，值为 0 时表示不找邻居，自己刷自己的。

在使用机械硬盘时，这个优化很有意义，可以减少很多随机 IO。如果使用的是 SSD 这种IOPS 比较高的设备，可以设置innodb_flush_neighbors 为0，只刷自己，这个时候 IOPS 往往就不是性能瓶颈了。只刷自己就可以提高刷脏页的速度，减少 SQL 语句的响应时间。

binlog 的写入机制比较简单：事务执行的过程中，先把日志写到 binlog cache，事务提交的时候，再把 binlog cache 写到binlog 文件中。

系统给 binlog cache 分配了一片内存，每个线程一个，参数 binglog_cache_size 用于控制单个线程内 binlog cache 的内存大小，超过就要暂存在磁盘。

事务提交的时候，执行器把 binlog cache 里完整事务写入到 binlog 中，并清空 binlog cache。

write 和 fsync 的时机，是由参数 sync_binlog 控制的：

因此，在出现 IO 瓶颈的场景里，将 sync_binlog 设置成一个比较大的值，可以提升性能。在实际的业务场景中，考虑到丢失日志量的可控性，一般不建议将这个参数设成 0，比较常见的是将其设置为 100~1000 中的某个数值。但是，将 sync_binlog 设置为 N，对应的风险是：如果主机发生异常重启，会丢失最近 N 个事务的 binlog 日志。

事务的执行过程中，生成的 redo log 是要先写到 redo log buffer 的。

redo log 三种状态：

日志写到 redo log buffer 是很快的，write 到 page cache 也差不多，但是持久化到磁盘的速度就慢多了。

InnoDB 提供了 innodb_flush_log_at_trx_commit 参数，取值如下：

InnoDB 有一个后台线程，每隔 1 秒，就会把 redo log buffer 中的日志，调用 write 写到文件系统的 page cache，然后调用 fsync 持久化到磁盘。

组提交 机制

日志逻辑序列号（log sequence number，LSN）是一个单调递增的值，对应 redo log 的一个个写入点。每次写入的长度为 lenght 的 redo log，LSN的值就会加上 length。

LSN 也会写到 InnoDB 的数据页中，来确保数据也不会被多次执行重复的 redo log。

在一组提交里面，组员越多，节约磁盘 IOPS 的效果越好。在并发更新的场景下，第一个事务写完 redo log buffer 以后，接下来这个 fsync 越晚调用，组员可能越多，节约 IOPS 的效果就越好。

WAL机制主要得益于两个方面：

如果你的 MySQL 现在出现了性能瓶颈，而且瓶颈在 IO 上，可以通过哪些方法来提升性能呢？

针对这个问题，可以考虑以下三种方法：

---