数据库读写分离如何保证主从一致性

当我们的数据库压力主键变大的时候，我们会尝试增加一些从节点来分摊主节点的查询压力。而一般来说，我们是用一主多从的结构来作为读写分离的基本结构。

而一般来说我们有两种常用的方法来实现读且分离架构：

客户端直接分离

这种方式是由客户端，或者我们的微服务直接进行数据库的读写选择。将读库选择路由到主库上进行，将查询路由到从主库上进行。

这种方式的优点在于因为是直连所以性能比较高，但是需要由业务团队了解数据库的实例细节，当数据库做调整的时候就需要业务侧同步改造。

使用数据中间件代理

这种方式是由一层代理层对数据的读写做分发，业务层将所有的请求都通过代理来实现。

这种方式的优点在于对于业务层不需要感知到数据库的存在，但问题在于数据中间件的性能要求较高，还需要专人来进行优化和维护，整体架构较为复杂。

但是我们发现，尽管这两种方式各有优劣。但核心都是通过数据的写入、查询请求的路由而实现的，那么这就会引发标题的问题：

主备同步存在延迟，所以在延迟时间内对插入的内容进行查询则无法查询到最新提交的事务。

那么如何保证主从一致性的问题，其实就变成了如何处理主从延迟的问题。

根据项目的大小，团队的规模以及主机的部署模式。我们处理问题的方法也有很多种。

最简单强硬的就是强制读主库。

一般情况下我们在不同的查询中会有不同程度的一致性要求。我们可以将需要保证数据一致性的请求配置强制查询主库，而对于无强依赖的查询请求仍然查询备库。

尽管这个方案不是很优雅，但是是最简单实现的方法，并且在Spring等框架的支持下一般只需要加一个注解就能实现。但这个方法的问题也是显而易见的，如果存在大量的强一致性要求的查询语句，则相当于没有进行读写分离与扩展。那么这种方法就会导致系统在数据库层面没有有效的扩展手段了。

由于问题产生的来源是主从延迟，所以在下一次查询的时候进行一段时间的等待以弥补这种延迟即可。

所以在进行主库的数据插入之后，让数据库数据连接或者对应的执行线程等待一段时间后返回。通过等待时间来消化掉主从备份的延迟时间。但是这个方法也有一些问题比如：这个等待时间一般是固定的，即便主从已经无延迟了也会继续等待到时间结束；如果在服务高峰时期，有可能数据在等待时间结束后仍然没有完成同步则仍然会存在一致性问题。

但这种方法优雅的地方是可以配合业务来进行实现，举例来说当用户下单之后，通过下单送卷或者下单抽奖的方式从前端拖住用户，从而当用户在一次连续 *** 作中再次查询自己订单的时候中间必然会间隔一定时间，也就让需要再次查询数据的时候保证了数据的一致性。

上述两种方案看起来可能不那么“技术”，感觉有点投机取巧。那么下面咱们可以分两种情况来讨论用更高技术的方法如何实现一致性。

对于主从复制来说，是当主库完成一个事务后，通知给从库，当从库接受到后，则主库完成返回客户端。所以当主库完成事务后，仅能确保从库已经接受到了，但是不能保证从库执行完成，也就是导致了主从备份延迟。

但是从库执行数据是有进度的，而这个进度是可以通过show slave status语句中的seconds_behind_master来进行描述，这个参数描述从库落后了主库数据多少秒，当这个参数为0时，我们可以认为从库和主库已经基本上没有延迟了，那么这时候就可以查询请求。

但seconds_behind_master是秒级的，所以只能大概地判断，由于精度较低，所以还是可能出现不一致的情况。

如果要求精准执行的话，我们可以比较同步文件的执行记录，具体来说是：

所以当Relay_Master_Log_File和Exec_Master_Log_Pos和其一致的时候，就说明从库的已执行数据已经追上主库了，那么这时就可以说保证了主从一致性了

但是比较同步文件的执行记录方法的问题在于，如果当前的这个事务的binlog尚未传入到从库，即Master_Log_File和Read_Master_Log_Pos未更新，也就无法保证从库已经包含最新的主库事务了。

而为了保证在一主一备的情况下，从库里一定接受到数据了，也就是Master_Log_File和Read_Master_Log_Pos中的数据是和主库一致的，我们可以开启semi-sync replication半同步复制。

半同步复制的原理是在主库提交事务前先将binlog发送给从库，然后当从库接受后返回一个应答，主库只有在接受到这个应答之后才返回事务执行完成。这样就可以保证从库的Master_Log_File和Read_Master_Log_Pos与主库是一致的，从而解决了主从一致的问题。

半同步复制可以解决一主一备的情况，但是当一主多备的时候，只要主库接受到一个从库的应答，就会返回事务执行完成。而这时当请求打到未完成同步的从库上时就会发生主从延迟。

所以针对一主多备的情况，我们可以将目光集中在执行查询的从库上，即确保 我们即将查询的备库已经执行了我们预期的事务。 那么我们的问题就变成两部分：1. 确认主库事务，2. 查询数据条件。

确认主库事务

当我们提交完一个事务后，可以通过执行show master status来得到主库中的数据事务文件（File）和位置记录（Position）。

查询数据条件

当我们要查询从库数据的时候，我们可以通过语句select master_pos_wait(File, Position, 1)来查询当前是否已经执行到了该记录（当返回值>=0的时候说明已经执行过了）。其中最后的数字1表示阻塞时长。

通过先确认主库事务记录，再判确认备库是否已经执行了了主库对应的事务。

但是可以发现，这种方法要求查询的时候知道主库的事务信息，对场景有很大的限制。

主从一致的问题源自主从延迟，所以我们就是从如何消除延迟来解决问题。简单点的方案我们可以不走备库、或者直接等待一段时间来忽略延迟的影响。在一主一备的情况下我们可以粗力度的用seconds_behind_master来判断或者用Relay_Master_Log_File和Exec_Master_Log_Pos来判断。而当一主多从的情况下我们则需要在查询前传入主库执行的事务记录才能保证数据一致性。

可以看出，当数据规模和部署方式变更的时候，好的解决方案将会越来越多。我认为根据实际业务情况选择最合适的方法才是最重要的。

数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。对于大访问量的网站，一般会采用读写分离，比如ebay的读写比率是260：1，也就是大型的电子商务网站的。网上看到说采用读写分离有如下工具：1，oracle的logical standby2, Quest公司的SharePlex3, DSG公司的RealSyncMySQLReplication可以将master的数据复制分布到多个slave上，然后可以利用slave来分担master的读压力。那么对于前台应用来说，就要考虑如何将读的压力分布到多个slave上。如果每个应用都需要来实现读写分离的算法，一则成本太高，二来如果slave增加更多的机器，应用就要随之修改。明显的，如果在应用和数据库间加一个专门用于实现读写分离的中间层，则整个系统的架构拥有更好的扩展性。MySQLProxy就是这么一个中间层代理，简单的说，MySQLProxy就是一个连接池，负责将前台应用的连接请求转发给后台的数据库，并且通过使用lua脚本，可以实现复杂的连接控制和过滤，从而实现读写分离和负载平衡。对于应用来说，MySQLProxy是完全透明的，应用则只需要连接到MySQLProxy的监听端口即可。

本文实例分析了Yii实现MySQL多数据库和读写分离的方法。分享给大家供大家参考。具体分析如下： Yii Framework是一个基于组件、用于开发大型 Web 应用的高性能 PHP 框架。Yii提供了今日Web 2.0应用开发所需要的几乎一切功能，也是最强大的框架之一，下文我们来介绍Yii实现MySQL多库和读写分离的方法 前段时间为SNS产品做了架构设计，在程序框架方面做了不少相关的压力测试，最终选定了YiiFramework，至于为什么没选用公司内部的 PHP框架，其实理由很充分，公司的框架虽然是"前辈"们辛苦的积累，但毕竟不够成熟，没有大型项目的历练，犹如一个涉世未深的年轻小伙。Yii作为一个 颇有名气开源产品，必定有很多人在使用，意味着有一批人在维护，而且在这之前，我也使用Yii开发过大型项目，Yii的设计模式和它的易扩展特性足以堪当重任。 SNS同一般的社交产品不同的就是它最终要承受大并发和大数据量的考验，架构设计时就要考虑这些问题， web分布式、负载均衡、分布式文件存储、MySQL分布式或读写分离、NoSQL以及各种缓存，这些都是必不可少的应用方案，本文所讲的就是MySQL 分库和主从读写分离在Yii的配置和使用。 Yii默认是不支持读写分离的，我们可以利用Yii的事件驱动模式来实现MySQL的读写分离。 Yii提供了一个强大的CActiveRecord数据库 *** 作类，通过重写getDbConnection方法来实现数据库的切换，然后通过事件 beforeSave、beforeDelete、beforeFind 来实现读写服务器的切换，还需要两个配置文件dbconfig和modelconfig分别配置数据库主从服务器和model所对应的数据库名称，附代码 DBConfig.php文件如下： 复制代码 代码如下:<?php return array( 'passport' =>array( 'write' =>array( 'class' =>'CDbConnection', 'connectionString' =>'mysql:host=10.1.39.2dbname=db1′, 'emulatePrepare' =>true, //'enableParamLogging' =>true, 'enableProfiling' =>true, 'username' =>'root', 'password' =>'', 'charset' =>'utf8′, 'schemaCachingDuration'=>3600, ), 'read' =>array( array( 'class' =>'CDbConnection', 'connectionString' =>'mysql:host=10.1.39.3dbname=db1, 'emulatePrepare' =>true, //'enableParamLogging' =>true, 'enableProfiling' =>true, 'username' =>'root', 'password' =>'', 'charset' =>'utf8′, 'schemaCachingDuration'=>3600, ), array( 'class' =>'CDbConnection', 'connectionString' =>'mysql:host=10.1.39.4dbname=db3′, 'emulatePrepare' =>true, //'enableParamLogging' =>true, 'enableProfiling' =>true, 'username' =>'root', 'password' =>'', 'charset' =>'utf8′, 'schemaCachingDuration'=>3600, ), ), ), ) ModelConfig.php如下： 复制代码 代码如下:<?php return array( //key为数据库名称，value为Model 'passport' =>array('User','Post'), 'microblog' =>array('…'), ) ?> ActiveRecord.php如下： 复制代码 代码如下:/** * 基于CActiveRecord类的封装，实现多库和主从读写分离 * 所有Model都必须继承些类. * */ class ActiveRecord extends CActiveRecord { //model配置 public $modelConfig = '' //数据库配置 public $dbConfig = '' //定义一个多数据库集合 static $dataBase = array() //当前数据库名称 public $dbName = '' //定义库类型(读或写) public $dbType = 'read'//'read' or 'write' /** * 在原有基础上添加了一个dbname参数 * @param string $scenario Model的应用场景 * @param string $dbname 数据库名称 */ public function __construct($scenario='insert', $dbname = '') { if (!empty($dbname)) $this->dbName = $dbname parent::__construct($scenario) } /** * 重写父类的getDbConnection方法 * 多库和主从都在这里切换 */ public function getDbConnection() { //如果指定的数据库对象存在则直接返回 if (self::$dataBase[$this->dbName]!==null) return self::$dataBase[$this->dbName] if ($this->dbName == 'db'){ self::$dataBase[$this->dbName] = Yii::app()->getDb() }else{ $this->changeConn($this->dbType) } if(self::$dataBase[$this->dbName] instanceof CDbConnection){ self::$dataBase[$this->dbName]->setActive(true) return self::$dataBase[$this->dbName] } else throw new CDbException(Yii::t('yii','Model requires a "db" CDbConnection application component.')) } /** * 获取配置文件 * @param unknown_type $type * @param unknown_type $key */ private function getConfig($type="modelConfig",$key="){ $config = Yii::app()->params[$type] if($key) $config = $config[$key] return $config } /** * 获取数据库名称 */ private function getDbName(){ if($this->dbName) return $this->dbName $modelName = get_class($this->model()) $this->modelConfig = $this->getConfig('modelConfig') //获取model所对应的数据库名 if($this->modelConfig)foreach($this->modelConfig as $key=>$val){ if(in_array($modelName,$val)){ $dbName = $key break } } return $dbName } /** * 切换数据库连接 * @param unknown_type $dbtype */ protected function changeConn($dbtype = 'read'){ if($this->dbType == $dbtype &&self::$dataBase[$this->dbName] !== null) return self::$dataBase[$this->dbName] $this->dbName = $this->getDbName() if(Yii::app()->getComponent($this->dbName.'_'.$dbtype) !== null){ self::$dataBase[$this->dbName] = Yii::app()->getComponent($this->dbName.'_'.$dbtype) return self::$dataBase[$this->dbName] } $this->dbConfig = $this->getConfig('dbConfig',$this->dbName) //跟据类型取对应的配置(从库是随机值) if($dbtype == 'write'){ $config = $this->dbConfig[$dbtype] }else{ $slavekey = array_rand($this->dbConfig[$dbtype]) $config = $this->dbConfig[$dbtype][$slavekey] } //将数据库配置加到component中 if($dbComponent = Yii::createComponent($config)){ Yii::app()->setComponent($this->dbName.'_'.$dbtype,$dbComponent) self::$dataBase[$this->dbName] = Yii::app()->getComponent($this->dbName.'_'.$dbtype) $this->dbType = $dbtype return self::$dataBase[$this->dbName] } else throw new CDbException(Yii::t('yii','Model requires a "changeConn" CDbConnection application component.')) } /** * 保存数据前选择 主 数据库 */ protected function beforeSave(){ parent::beforeSave() $this->changeConn('write') return true } /** * 删除数据前选择 主 数据库 */ protected function beforeDelete(){ parent::beforeDelete() $this->changeConn('write') return true } /** * 读取数据选择 从 数据库 */ protected function beforeFind(){ parent::beforeFind() $this->changeConn('read') return true } /** * 获取master库对象 */ public function dbWrite(){ return $this->changeConn('write') } /** * 获取slave库对象 */ public function dbRead(){ return $this->changeConn('read') } } 这是我写好的类，放在components文件夹里，然后所有的Model都继承ActiveRecord类就可以实现多库和主从读写分离了，至于如何支持原生的SQL也同时使用读写分离，此类都已经实现。 希望本文所述对大家基于Yii框架的PHP程序设计有所帮助。

---