数据库事务jeeps日志已满,原因为replication

SQLServer中开启CDC之后，在某些情况下会导致事务日志空间被占满的现象为：

在执行增删改语句（产生事务日志）的过程中提示，The transaction log for database '***' is full due to 'REPLICATION'(数据库“***”的事务日志已满，原因为“REPLICATION”).

CDC以及复制的基本原理粗略地讲，对于日志的使用步骤如下：

1，每当基础表（开启了CDC或者replication的表）产生事务性 *** 作（增删改）之后，对应的事务日志写入日志文件，

2，此时的日志被状态被标记为Replication，也即处于待复制状态，这个活动状态跟数据库的还原模式无关，即便是简单还原模式，

3，然后有后台进程来读取这个日志，根据事务日志的内存写入目标表，

这个目标对于cdc来说是记录数据变化的系统表，

对于replication来说是写入distribution这个库

4，步骤3完成之后，事务日志被标记为正常状态，如果是简单还原模式，被后台进程解析过的事务日志被截断，可以重用

如果上述中间的第三个步骤出现问题，也即后台进程无法解析日志后释放可用的日志空间，再次往数据库中写入 *** 作，就会出现：数据库“TestDB”的事务日志已满，原因为“REPLICATION”的情况

一、概述　MySQL从3.23.15版本以后提供数据库复制（replication）功能，利用该功能可以实现两个数据库同步、主从模式、互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。二、环境 *** 作系统：Linux2.6.23.1-42.fc8#SMP（不安装XEN）Mysql版本：5.0.45-4.fc8设备环境：PC（或者虚拟机）两台三、配置数据库同步复制功能的设置都在MySQL的配置文件中体现，MySQL的配置文件（一般是my.cnf）：在本环境下为/etc/my.cnf。3.1设置环境：IP的设置：A主机IP：10.10.0.119Mask：255.255.0.0B主机IP：10.10.8.112Mask：255.255.0.0在IP设置完成以后，需要确定两主机的防火墙确实已经关闭。可以使用命令serviceiptablesstatus查看防火墙状态。如果防火墙状态为仍在运行。使用serviceiptablesstop来停用防火墙。如果想启动关闭防火墙，可以使用setup命令来禁用或定制。最终以两台主机可以相互ping通为佳。3.2配置A主(master)B从(slave)模式3.2.1配置A为master　、增加一个用户同步使用的帐号：GRANTFILEON*.*TO‘backup’@'10.10.8.112'IDENTIFIEDBY‘1234’GRANTREPLICATIONSLAVEON*.*TO‘backup’@'10.10.8.112'IDENTIFIEDBY‘1234’赋予10.10.8.112也就是Slave机器有File权限，只赋予Slave机器有File权限还不行，还要给它REPLICATIONSLAVE的权限才可以。、增加一个数据库作为同步数据库：createdatabasetest、创建一个表结构：createtablemytest(usernamevarchar(20),passwordvarchar(20))、修改配置文件：修改A的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：server-id=1#Server标识log-binbinlog-do-db=test#指定需要日志的数据库、重起数据库服务：servicemysqldrestart查看server-id：showvariablelike‘server_id’；实例：mysql>showvariableslike'server_id'+---------------+-------+|Variable_name|Value|+---------------+-------+|server_id|1|+---------------+-------+1rowinset(0.00sec)、用showmasterstatus/G命令看日志情况。正常为：mysql>showmasterstatus/G***************************1.row***************************File:mysqld-bin.000002Position:198Binlog_Do_DB:test,testBinlog_Ignore_DB:1rowinset(0.08sec)3.2.2配置B为slave、增加一个数据库作为同步数据库：createdatabasetest、创建一个表结构：createtablemytest(usernamevarchar(20),passwordvarchar(20))、修改配置文件：修改B的/etc/my.cnf文件，在my.cnf配置项中加入下面配置：server-id=2master-host=10.10.0.119master-user=backup#同步用户帐号master-password=1234master-port=3306master-connect-retry=60#预设重试间隔秒replicate-do-db=test#告诉slave只做backup数据库的更新、重起数据库服务：servicemysqldrestart查看server-id：showvariableslike‘server_id’；实例：mysql>showvariableslike'server_id'+---------------+-------+|Variable_name|Value|+---------------+-------+|server_id|2|+---------------+-------+1rowinset(0.00sec)、用showslavestatus/G命令看日志情况。正常为：mysql>showslavestatus/G***************************1.row***************************Slave_IO_State:WaitingformastertosendeventMaster_Host:10.10.0.119Master_User:backupMaster_Port:3306Connect_Retry:60Master_Log_File:mysqld-bin.000001Read_Master_Log_Pos:98Relay_Log_File:mysqld-relay-bin.000003Relay_Log_Pos:236Relay_Master_Log_File:mysqld-bin.000001Slave_IO_Running:YesSlave_SQL_Running:YesReplicate_Do_DB:test,testReplicate_Ignore_DB:Replicate_Do_Table:Replicate_Ignore_Table:Replicate_Wild_Do_Table:Replicate_Wild_Ignore_Table:Last_Errno:0Last_Error:Skip_Counter:0Exec_Master_Log_Pos:98Relay_Log_Space:236Until_Condition:NoneUntil_Log_File:Until_Log_Pos:0Master_SSL_Allowed:NoMaster_SSL_CA_File:Master_SSL_CA_Path:Master_SSL_Cert:Master_SSL_Cipher:Master_SSL_Key:Seconds_Behind_Master:01rowinset(0.01sec)3.2.3验证配置分别使用insert,delete,update在A主机进行增删改查数据库；查看B主机的数据库是否与A主机一致；若一致，则配置成功。3.3双机互备模式如果在A主机加入slave设置，在B主机加入master设置，则可以做B->A的同步。、在A主机的配置文件中mysqld配置项加入以下设置：master-host=10.10.8.112master-user=backupmaster-password=1234replicate-do-db=testmaster-connect-retry=10、在B的配置文件中mysqld配置项加入以下设置：log-binbinlog-do-db=test注意：当有错误产生时，*.err日志文件同步的线程退出，当纠正错误后，要让同步机制进行工作，运行slavestart。重起A、B机器，则可以实现双向的热备份。四、常见问题及解决、Slave机器的权限问题，不但要给slave机器File权限，还要给它REPLICATIONSLAVE的权限。、在修改完Slave机器/etc/my.cnf之后，slave机器的mysql服务启动之前，记得要删除掉master.info、在showmasterstatus或着showslavestatus不正常时，看看.err是怎样说的。、Slave上Mysql的Replication工作有两个线程,I/Othread和SQLthread。I/O的作用是从master3306端口上把它的binlog取过来(master在被修改了任何内容之后,就会把修改了什么写到自己的binlog等待slave更新),然后写到本地的relay-log,而SQLthread则是去读本地的relay-log,再把它转换成本Mysql所能理解的语句，于是同步就这样一步一步的完成.决定I/Othread的是/var/lib/mysql/master.info,而决定SQLthread的是/var/lib/mysql/relay-log.info.、启动slave，命令用startslave；重新启动用restartslave

为了保障数据的安全与稳定性，我们常用数据库的主从复制与主主复制来实现。主从复制为从机实时拷贝一份主机的数据，当主机有数据变化时，从机的数据会跟着变，当从机数据有变化时，主机数据不变；同样地，主主复制就是，多个主机之间，只要有一个主机的数据变化了，其它主机数据也会跟着变化。

添加以下内容

如果你是使用我之前那种方式启动的MySQL，那么你只需要去你相关联的宿主机的配置文件夹里面去建立一个 my.cnf 然后写入上面的类容就好了。

比如：我的启动命令如下（不应该换行的，这里为了方便查看，我给它分行了）

那么我只需要在 /docker/mysql_master/conf 这个目录下创建 my.cnf 文件就好了。

这个命令是需要在容器里面执行的

docker重启mysql会关闭容器，我们需要重启容器。

确保在主服务器上 skip_networking 选项处于 OFF 关闭状态, 这是默认值。 如果是启用的，则从站无法与主站通信，并且复制失败。

我的命令如下

在从服务器配置连接到主服务器的相关信息 （在容器里面的mysql执行）

上面代码的xxxxx你需要换成你的IP，docker 查看容器 IP 的命令如下：

启动的那个从服务器的线程

测试的话，你可以在主服务器里面，创建一个数据库，发现从服务器里面也有了，就成功了。

如果你还想要一个从服务器，那么你只需要按照上面配置从服务器再配置一个就行了，新建的从服务器，会自动保存主服务器之前的数据。（测试结果） 如果你上面的主从复制搞定了，那么这个主主复制就很简单了。我们把上面的从服务器也改成主服务器

1）、修改上面的从服务器的my.cnf文件，和主服务器的一样（注意这个server-id不能一样）然后重启服务器 2）、在从服务器里面创建一个复制用户创建命令一样（这里修改一下用户名可以改为 repl2） 3）、在之前的主服务器里面运行下面这个代码

上面主要是教你怎么搭建一个MySQL集群，但是这里面还有很多其它的问题。也是我在学习过程中思考的问题，可能有的小伙伴上来看到文章长篇大论的看不下去，只想去实现这样一直集群功能，所以我就把问题写在下面了。

1）、MySQL的replication和pxc MySQL的集群方案有replication和pxc两种，上面是基于replication实现的。

replication: 异步复制，速度快，无法保证数据的一致性。 pxc: 同步复制，速度慢，多个集群之间是事务提交的数据一致性强。

2）、MySQL的replication数据同步的原理 我们在配置的时候开启了它的二进制日志，每次 *** 作数据库的时候都会更新到这个日志里面去。主从通过同步这个日志来保证数据的一致性。

3）、可否不同步全部的数据 可以配置，同步哪些数据库，甚至是哪些表。

4）、怎么关闭和开始同步

5）、我就我的理解画出了，主从、主从从、主主、复制的图。

往期推荐：

利用Docker仅花1分钟时间安装好MySQL服务

Linux下MySQL 5.7的离线与在线安装（图文）

Linux下安装MySQL8.0（收藏！）

---