mysql主从同步中binlog dump线程僵尸 怎么解决

主库上记录二进制日志，也就是binlog日志。

备库将主库的二进制日志复制到其本地的中继日志中。首先，备库会启动一个工作线程，称为I/O线程，I/O线程跟主库建立一个普通的客户端连接，然后在主库上启动一个特殊的二进制转存（Binglog Dump）线程，这个转存线程会读取主库上的二进制日志中事件，并发送给从库的I/O线程；如果主库没有更新信息将进入休眠。

备库的SQL线程执行最后一步，该线程从中继日志中读取事件并在备库执行，从而实现备库数据的更新。

一、my.cnf配置文件datadir项配置错误或被启动脚本篡改

这个问题不太说讲，主要是mysql自带的启动文件（/etc/init.d/mysqld）中会自动检测mysql的数据存储目录，若mysql新装，尚未初始化系统表，那么配置文件中的datadir项写不写无所谓，出现这种情况主要是在更改了mysql的数据存储目录，今天我出现的这个问题就在于此。

我的mysql安装后的配置文件中关于datadir项目的配置如下，而该配置文件存储于/etc/my.cnf，今儿不知动了什么东西，查来查去都没找着原因，后来打开该配置文件才发现，其中的datadir项目被篡改成/var/mysql/data了.....

[mysqld] datadir=/data/mysql socket=/tmp/mysql.sock user=mysql

二、进程里已经存在mysql进程

这种情况我很少遇到，若存在mysql进程但有不提供mysql服务（表现为其他客户端连接不上mysql服务器，例如php连接mysql时提示“连接失败”），这个时候就要看看有没有存在的mysql僵尸进程了，命令如下：

ps -ef|grep mysql

若存在，该命令执行后会列出存在的僵尸进程，kill -9 `pid`掉即可。

三、mysql的数据存储目录权限不足

这种情况发生于mysql第一次安装或升级，配置文件中的datatdir目录的权限要设定好，一般来说运行mysql的用户以及组就是mysql.mysql，那么解决权限不足问题的方法如下：

chown -R mysql.mysql /data/mysql ##该命令仅为示例，其中/data/mysql就是mysql配置文件中datadir的目录 ##若为空，则默认为mysql安装目录下的data文件夹下

四、覆盖安装或升级mysql后，残余数据的影响

这种情况发生于mysql被覆盖安装或升级后，当然mysql无故宕机后也会有这种情况，可能会影响mysql启动的数据文件，一般存在于mysql的数据存储目录（这个目录依据my.cnf配置文件中的datadir而异），也就是存在于mysql数据存储目录下的mysql-bin.index文件，删除之即可。

五、selinux的问题，centos下最容易出现

selinux不甚了解，直接关掉。

##方法1：永久关闭seliux ##修改 vi /etc/selinux/config #文件中设置SELINUX=disabled ，然后重启服务器 ##方法2：暂时关闭seliux setenforce 0 ##如需每次开机都铃声关闭seliux，则可以在/etc/rc.d/rc.local文件中添加该命令

六、mysql运行状态下删除binary日志后重启失败

这是今天在群里的一个朋友出现的，特汇总于此；当mysql开启了二进制日志并且mysql在运行状态下用rm命令删除过mysql的binary日志文件的话，下次重启mysql你就悲剧了。

什么是binary日志？说白了就是mysql的数据目录下的mysql-bin.000001、mysql-bin.000002的文件，下图所示。

解决方法就是修改配置文件临时关闭binary-log，然后删除mysql数据目录下的所有类似mysql-bin.000001、mysql-bin.000002的文件后再次重启，mysql即可启动成功。

#mysql配置关闭二进制日志 找到如下语句 注释掉即可 #log-bin=mysql-bin #binlog_format=mixed

此步骤 *** 作完毕之后，若还需要启用二进制日志，那么就要先停掉mysql服务，然后修改msyql的配置文件，再次重启即可。

另外再附上正确删除mysql二进制日志文件的方法（绝对不是rm -rf命令直接删这些文件）：

#第一步 通过shell或cmd登录进mysql 这步没什么好说的 msyql -u root -p *** #第二步 在mysql下直接执行清理binary日志命令 mysql>reset master #注意：此处仅针对单台mysql而言，若有互备mysql 则执行该命令有风险

通常大家都会使用redis作为应用的任务队列表，redis的List结构，在一段进行任务的插入，在另一端进行任务的提取。

任务的插入

$redis->lPush("key:task:list",$task)

任务的提取

$tasks = $redis->RPop("key:task:list",0,-1)

可是大家想，如何使用mysql来实现一个队列表呢？

映入大家脑海的一个典型的模式是一个表包含多种类型的记录：未处理记录，已处理记录，正在处理记录等。一个或者多个消费者线程在表中查询未处理的记录，然后声称正在处理这个任务，处理完成之后，再讲记录更新为已处理状态。

这个典型的模式，存在两个问题；1：随着队列表越来越大，查找未处理记录的速度会越来越慢。2：频繁的加锁会让多个消费者线程增加竞争。

首先我们来创建一个表

create table unsent_emails{id int not null primary key auto_increment,status enum("unsent","claimed","sent"),

owner int unsigned not null default 0,

ts timestamp,key (owner,status,ts)

}

该表的列owner用来存储当前正在处理这个记录的连接id，由函数 CONNECTION_ID()返回的连接id或者线程id。如果这个记录当前被没有被处理，则该值为0

我们在 owner status ts上面做了索引的处理，所以查找未处理的记录会很快。

通过我们会采用 select for update的方式来标记待处理的记录，方法如下

beginselect id from unsent_emailswhere owner = 0 and status = 'unsent'

limit 10 for update-- result 10,20,33update unsent_emailsset status = 'claimed',owner = CONNECTION_ID()where id in (10,20,33)

commit

select的时候，使用了两个索引，应该会很快。问题出在select 和 update两个查询之间的间隙，这里的加锁会让其他相同的查询全部阻塞。

如果我们采用update then select的方式，那么效果就会更加高效，代码如下

set autocommit=1commitupdate unsent_emailsset statue = 'claimed',owner = CONNECTION_ID()where owner = 0 and status = 'unsent'

limit 10set autocommit=0select id from unsent_emailswhere owner = CONNECTION_ID() and status = 'claimed'

根本无需使用select去查找哪些记录还没有处理。客户端协议会告诉你更新了几条记录，就可以知道这次需要处理多少条记录。

这样是不是解决了上面的第二个问题，select for update的模式的加锁会增加多个消费队列的竞争问题。

其实所有的select for update 都可以替换为 update then select模式。

问题还没有结束，还有一种情况需要处理，就是比如正在处理任务的进程异常退出了，那么对应的进程正在处理的任务也就变为僵尸任务了。如何避免这种情况的发生呢？

所以我们还是需要一个新的定时器或者线程来定时检测并且update，将那些僵尸任务的记录更新到原始状态，就可以了。

僵尸任务的定义必须符合两点，1：任务被搁置了很久，比如十分钟，而通常一个任务只需要10秒就可以处理完；2：任务的owner(线程id或者连接id)已经不存在，只需要执行show processlist就可以获取当前正在工作的线程id了。代码如下

update unsent_emailsset owner = 0,status = 'unsent'

where owner not in (10,20,33,44) and status = 'claimed'

and ts <current_timestamp - interval 10 minute

一个基于mysql构建的队列表就完成了。

当然，最好的办法就是将任务队列从数据库中迁移出来。redis真是一个很好的队列容器，当然也可以使用ssdb(基于leveldb，内存占用更少)。

---