Mysql 异步同步半同步复制

Mysql 异步同步半同步复制,第1张

MySQL 默认的复制就是异步的,主库再执行完客户端提交的事务后会立即将结果返回给客户端,并不关系从库是否已经接收和处理。

MySQL主库将Binlog事件写入到Binlog文件中,此时主库只通知一下Dump线程发送这些新的Binlog,然后主库继续处理提交 *** 作,不会保证这些Binlog传到任何一个从库节点上。

因为异步复制,主节点不关从节点是否收到Binlog,如果主crash掉了,此时主节点上已提交的事务可能并没有传到从库上,如果此时,强行将从节点提升为主节点,可能导致新的主节点上数据不完整。

全同步是指当主库接收到客户端的一个事务请求,所有的从库都执行了该事务才返回给客户端。

当主库收到客户端提交的事务后,所有的从库必须收到并且执行事务,然后主库才会执行后续 *** 作。

因为要等待所有从库执行完事务,主库才将结果返回给客户端,所以全同步复制的性能必然受到严重影响,即完成一个事务的时间被拉长,性能降低。

半同步复制是介于全同步复制和全异步复制之间的一种,主库只需要等待至少一个从库节点收到并Flush Binlog到Relay log文件即可,主库不需要等待所有从库给主库反馈。(注意只要收到一个从库的反馈即可)

介于异步复制和全同步复制之间,主库再执行完客户端提交的食物后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。

相对于异步复制,半同步复制提交了数据的安全性,同时它也造成了一定程序的延迟,这个延迟至少是一个TCP/IP往返时间,因此,半同步复制虽好在低延时的网络中使用。

XMind - Trial Version

研发的同事反馈,mysql的半同步怎么变异步了?开始觉得不足为奇,超时之后,自然变成异步了。但同步binlog的速度变得正常之后,就会自动变成同步了。但抱着严谨负责的态度,马上去检查了一

下数据库的日志跟半同步的状态。

看了一下从库的错误日志,被图片中所示的sem-sync slave net_flush() reply failed 刷屏。。。。。。,汗了,这又是哪一出?  主库却没有任何日志。

虽然此时的主从同步的延迟时间是正常的,维持在0s的延迟,但此时同步状态却是异步的。

好奇怪呢?

查看一下代码,该Semi-sync slave net_flush() reply failed 信息来自函数

ReplSemiSyncSlave::slaveReply,函数如下

 该错误发生的条件就是执行net_flush(net)函数,没有收到正常的返回,报错了,所以有上面的错误发生,该函数的作用是将从库收到的binlog file 跟binlog pos的信息发送给主库。

网络有问题? 即使网路抖动性的问题,网路恢复之后应该正常才是。

为什么这个错误持续刷屏? 而主从同步目前是正常的,只是由半同步变成了异步。

 当我将slave重启之后,错误信息也很快就出现。

因为该函数是向主库发送同步binlog的确认信息的,也就是ack信息,难道是主库的ack的接收线程出了问题? 而主库没有任何的报错信息 。

关键时刻,自己搞不定的时候,尝试找帮手。我将错误信息,发给oracle公司的mysql开发者宋老师,宋老师是负责replication模块的开发者,对replication相当熟悉,说我可能遇上一个mysql的Bug,让我查看一下Bug 79865 .   在此,非常感谢宋老师的热情的无偿援助。

  bug 详情链接: http://bugs.mysql.com/bug.php?id=79865

我们来看看采用了select()多路复用io模型的ack_reciver 线程的代码:

bug的关键点是因为 ret= select(max_fd+1, &fds, NULL, NULL, &tv)  select()函数的入参max_fd+1有1024的限制,且这个限制无法通过修改nproc来突破?

(ulimit -n 命令可以修改nproc参数)。

貌似所有的疑问都揭开,但请继续。

 作者采用的环境是5.7.15,同时,作者采用的 *** 作系统是centOS 7,  根据上面http://bugs.mysql.com/bug.php?id=79865 后半部分,Meiji Kimura 的描述信息,该bug在centos 6上复现了, 而在centOS7上没有复现。而作者正是采用了centos 7.


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7409945.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-05
下一篇 2023-04-05

发表评论

登录后才能评论

评论列表(0条)

保存