记一次mysql磁盘io高的问题排查

现象是，系统里的java连接mysql超时了，

于是去mysql的机器，查看/var/log/messages日志，查对应的时间点的情况

发现mysql被阻塞了blocked for more than 120 seconds，mysql的io非常之高，用top查看系统的负载也到达了50的样子

用mpstat查看cpu情况

好明显，都在等io

用iostat查看io情况，%util的值，一直在80%，99%之间变化

以为磁盘有问题，用dd测下速看看

从上面的结果看，也还好，没问题

以为可能磁盘有坏道，用下面命令也扫了一遍，没问题

结果也没有坏的块，这个过程，很耗时。

用show processlist命令查看mysql正在忙着什么，一看，也没什么任务在执行的

想看看mysql，研究写哪个文件时，最耗时的

从上面结果来看，xxl_job是最耗时的。知道点眉目了，因为公司的定时任务是用的xxljob，定时任务里，有每几秒执行的任务，我猜它的日志记录一定很大，于是查看一下

我的天，这个表的记录有千万！！！这些记录，没做定时任务来清理，由于都是一些没用的记录，所以这个表的数据我全清了

清了之后，再用iostat查看

%util一下子就降下来了，用iotop查看mysql进程的io也下降了

cpu的iowait也下降了

定义一个事件，让mysql定时清理30天前的日志记录

记录一下，希望对有需要的朋友也起一点提示

1. MySQL处在高负载环境下，磁盘IO读写过多，肯定会占用很多资源，必然会CPU占用过高，所以可以用top命令查看MySQL所在服务器的cpu使用情况，从而分析是否有瓶颈；

2. show processlist查看MySQL当前的执行状态，查看是否有大量的Sleep或Locked状态；

Java中的IO方式主要分为3种：BIO（同步阻塞）、NIO（同步非阻塞）和AIO（异步非阻塞）。

BIO

同步阻塞模式。在JDK1.4以前，使用Java建立网络连接时，只能采用BIO方式，在服务器端启动一个ServerSocket，然后使用accept等待客户端请求，对于每一个请求，使用一个线程来进行处理用户请求。线程的大部分时间都在等待请求的到来和IO *** 作，利用率很低。而且线程的开销比较大，数量有限，因此服务器同时能处理的连接数也很低。

NIO

BIO模式中，是“一个Socket一个线程”；而在NIO中则是使用单个或少量的线程来轮询Socket，当发现Socket上有请求时，才为请求分配线程。因此是“一个请求一个线程”。

具体实现就是把Socket通过Channel注册到Selector，使用一个线程在Selector中轮询，发现Channel有读写的事件，就可以分配给其他线程来处理（通常使用线程池）。

AIO

从JDK7开始支持AIO模式。通过AsynchronousServerSocketChannel中注册事件回调函数来处理业务逻辑。当IO *** 作完成以后，回调函数会被调用。如果传入AsynchronousChannelGroup，可以绑定线程池来处理事件。

关于JDK的实现，Windows平台基于IOCP实现AIO，Linux只有eppoll模拟实现了AIO。

附：关于IO经常提到Reactor/ Proactor模式。

这两个模式中都有两个角色：事件多路分离器(Event Demultiplexer)和事件处理器(Event Handler)。分离器负责对监听IO事件，并通知处理器；处理器负责对IO内容进行处理，完成对应的业务。

二者的差异，以读 *** 作为例（写 *** 作类似）。

Reactor中实现读：

1.        注册读就绪事件和相应的事件处理器。

2.        事件分离器等待事件。

3.        事件到来，激活分离器，分离器调用对应的处理器。

4.        处理器完成IO读 *** 作，处理读到的数据，注册新的事件，然后返还控制权。

Proactor中实现读：

1.        注册读完成事件和相应的事件处理器（包括缓冲区地址）。

2.        事件分离器等待 *** 作完成事件的同时， *** 作系统利用并行的内核线程执行实际的读 *** 作，并将结果数据存入用户自定义缓冲区，最后通知事件分离器读 *** 作完成。

3.        事件分离器呼唤处理器。

4.        事件处理器处理用户自定义缓冲区中的数据，然后启动一个新的异步 *** 作，并将控制权返回事件分离器。

由此可见，两者的主要区别：Reactor中，由用户线程（事件处理器所在线程）完成IO的读写 *** 作；而在Proactor中，是由 *** 作系统完成IO读写 *** 作后，再通知事件处理器，用户线程只完成对数据的业务逻辑处理部分。

更多问题可以问远标教育中心的技术咨询。

---