LINUX学习：CentOS 7.2中磁盘iowait过高解决

概述介绍《LINUX学习：CentOS 7.2中磁盘iowait过高解决》开发教程，希望对您有用。

《liNUX学习：CentOS 7.2中磁盘iowait过高解决》要点：
本文介绍了liNUX学习：CentOS 7.2中磁盘iowait过高解决，希望对您有用。如果有疑问，可以联系我们。

(一)简述
每天都收到磁盘iowait告警信息,尤其是日志服务器在进行大量的读写 *** 作过程中,从而造成系统处于瓦解边缘,为查找磁盘iowait由于什么原因造成的以及后续的系统的优化点.CentOS有许多查找问题的工具,也有高级的.

I/O Wait 就是一个必要使用高级的工具来deBUG的问题,当然也有许多基本工具的高级用法.I/O wait的问题难以定位的原因    是因为我们有很多工具可以告诉你说I/O 受限了,但是并没有告诉你具体是哪些进程们引起的.

具体的思路如下：top .查看由cpu一行浪费在iowait上的cpu百分比  =>iostat -x 2 5 查看某块磁盘正在被写入  => iotop 查找最高的磁盘I/O对应的过程  => lsof -p pID 查看通过一个过程打开所有文件或打开一个文件的所有过程.

(二)具体步调如下：

(1)通过top命令来确认是否是I/O导致系统迟缓.

[root@iZ23iod5vslZ ~]# top
top - 15:38:32 up 40 days,  5:59,  3 users,  load average: 0.00,0.01,0.05
Tasks: 128 total,  1 running,127 sleePing,  0 stopped,  0 zombIE
%cpu(s):  0.4 us,  0.2 sy,  0.0 ni,99.2 ID,  98 wa,  0.0 hi,  0.0 si,  0.1 st
KiB Mem:  32520424 total,31492136 used,  1028288 free,  412772 buffers
KiB Swap:        0 total,        0 used,        0 free. 25902892 cached Mem
  PID USER      PR  NI    VIRT    RES    SHR S  %cpu %MEM    TIME+ COMMAND                                                                           
18988 root      20  0 11.647g 3.611g  7896 S  2.7 11.6 507:57.30 java                                                                             
  28 root      20  0      0      0      0 S  0.3  0.0  6:43.31 rcuos/3                                                                         
    1 root      20  0  49556  3412  1912 S  0.0  0.0  0:14.60 systemd                                                                           
    2 root      20  0      0      0      0 S  0.0  0.0  0:00.01 kthreadd                                                                         
    3 root      20  0      0      0      0 S  0.0  0.0  0:48.28 ksoftirqd/0                                                                     
    5 root      0 -20      0      0      0 S  0.0  0.0  0:00.00 kworker/0:0H                                                                     
    7 root      rt  0      0      0      0 S  0.0  0.0  0:00.83 migration/0                                                                     
    8 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcu_bh                                                                           
    9 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/0                                                                         
  10 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/1                                                                         
  11 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/2                                                                         
  12 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/3                                                                         
  13 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/4                                                                         
  14 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/5                                                                         
  15 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/6                                                                         
  16 root      20  0      0      0      0 S  0.0  0.0  0:00.00 rcuob/7

从cpu一行我们可以看到浪费在I/O Wait上的cpu百分比；这个数字越高说明越多的cpu资源在等待I/O权限.具体的解释如下：
 0.4% us 用户空间占用cpu的百分比.
0.2% sy 内核空间占用cpu的百分比.
 0.0% ni 改变过优先级的进程占用cpu的百分比
 2% ID 空闲cpu百分比
 98% wa IO等待占用cpu的百分比
 0.0% hi 硬中断(HarDWare IRQ)占用cpu的百分比
 0.0% si 软中断(Software Interrupts)占用cpu的百分比
在这里cpu的使用比率和windows概念不同,如果你不理解用户空间和内核空间,必要充充电了

(2)经由过程iostat -x 3 3 查看那块磁盘正在被写入.
[root@iZ23iod5vslZ ~]# iostat -x 3 3
linux 3.10.0-123.9.3.el7.x86_64 (iZ23iod5vslZ)  08/14/2017      _x86_64_        (4 cpu)
avg-cpu:  %user  %nice %system %iowait  %steal  %IDle
          0.70    0.00    0.16    0.75    0.05  98.34
Device:        rrqm/s  wrqm/s    r/s    w/s    rkB/s    wkB/s avgrq-sz avgqu-sz  await r_await w_await  svctm  %util
xvda              0.00    21.18    0.32  18.33    9.94  195.06    21.98    0.08    4.11  11.44    3.98  1.54  2.88
xvdb              0.00    15.21    1.23    1.98    38.41    68.76    66.70    0.08  25.48    3.59  39.10  1.09  0.35
xvdc              0.00    0.07    0.00    0.91    0.00    36.25    79.43    0.10  106.88  12.53  106.92  1.33  0.12
avg-cpu:  %user  %nice %system %iowait  %steal  %IDle
          0.75    0.00    0.17    0.08    0.08  98.91
Device:        rrqm/s  wrqm/s    r/s    w/s    rkB/s    wkB/s avgrq-sz avgqu-sz  await r_await w_await  svctm  %util
xvda              0.00    2.33    0.00    0.67    0.00    12.00    36.00    0.00    5.50    0.00    5.50  5.50  0.37
xvdb              0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  0.00  0.00
xvdc              0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  0.00  0.00
avg-cpu:  %user  %nice %system %iowait  %steal  %IDle
          0.75    0.00    0.17    0.00    0.00  99.08
Device:        rrqm/s  wrqm/s    r/s    w/s    rkB/s    wkB/s avgrq-sz avgqu-sz  await r_await w_await  svctm  %util
xvda              0.00    3.33    0.00    1.67    0.00    34.67    41.60    0.01    3.00    0.00    3.00  1.60  100.27
xvdb              0.00    9.00    0.00    1.67    0.00    42.67    51.20    0.01    5.40    0.00    5.40  1.80  0.30
xvdc              0.00    0.33    0.00    0.67    0.00    4.00    12.00    0.00    2.00    0.00    2.00  2.00  0.13

每隔三秒更新一次,一共打印了三次. -x时打印出扩展选项.第一次打印的信息可以被忽略,剩下的申报,都是基于上一次间隔的时间打印出来.
上述的列子中xvda的 %util(利用率)是100.27%,有进程往磁盘中写入数据.

(3)通过iotop查找高I/O对应的过程
[root@iZ23iod5vslZ ~]# iotop
Total disK READ :      0.00 B/s | Total disK WRITE :      15.67 K/s
Actual disK READ:      0.00 B/s | Actual disK WRITE:      0.00 B/s
  TID  PRIO  USER    disK READ  disK WRITE  SWAPIN    IO>    COMMAND                                                                               
18793 be/4 root        0.00 B/s    3.92 K/s  0.00 %  0.00 % java -Djava.util.logging.config.file=/usr/to~p org.apache.catalina.startup.bootstrap start
18987 be/4 root        0.00 B/s    3.92 K/s  0.00 %  0.00 % cronolog /guojinbao/tomcat/logs/catalina.%Y-%m-%d.out
18796 be/4 root        0.00 B/s    3.92 K/s  0.00 %  0.00 % java -Djava.util.logging.config.file=/usr/to~p org.apache.catalina.startup.bootstrap start
13193 be/4 root        0.00 B/s    3.92 K/s  0.00 %  0.00 % java -Djava.util.logging.config.file=/usr/to~p org.apache.catalina.startup.bootstrap start
    1 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % systemd --switched-root --system --deserialize 22
    2 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [kthreadd]
    3 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [ksoftirqd/0]
16388 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % AliYunDun
    5 be/0 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [kworker/0:0H]
16390 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % AliYunDun
    7 rt/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [migration/0]
    8 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [rcu_bh]
    9 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [rcuob/0]
  10 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [rcuob/1]
  11 be/4 root        0.00 B/s    0.00 B/s  0.00 %  0.00 % [rcuob/2]

从上述的例子中可以看出进程号为cronolog18987占用了年夜量的磁盘IO

(4)通过lsof -p pID查找由谁人文件引起的IOwait
[root@iZ23iod5vslZ ~]# lsof -p 18987
COMMAND    PID USER  FD  TYPE DEVICE  SIZE/OFF    NODE name
cronolog 18987 root  cwd    DIR 202,17      20480  2400258 /guojinbao/tomcat/logs
cronolog 18987 root  rtd    DIR  202,1      4096        2 /
cronolog 18987 root  txt    REG  202,1      48627  152798 /usr/local/sbin/cronolog
cronolog 18987 root  mem    REG  202,1    2107600  132826 /usr/lib64/libc-2.17.so
cronolog 18987 root  mem    REG  202,1    160240  132819 /usr/lib64/ld-2.17.so
cronolog 18987 root    0r  FIFO    0,8        0t0 42614018 pipe
cronolog 18987 root    1w  CHR    1,3        0t0    1028 /dev/null
cronolog 18987 root    2u  CHR  136,0        0t0        3 /dev/pts/0 (deleted)
cronolog 18987 root    3w  REG 202,17 5704875979  2400280 /guojinbao/tomcat/logs/catalina.2017-08-14.out

    lsof 命令可以展示一个进程打开的所有文件,或者打开一个文件的所有进程.从这个列表中,我们可以找到具体是什么文件被写入,根据文件的大小和/proc中io文件的具体数据.
    为了确认我们的怀疑,我们可以使用 /proc文件系统,每个进程目录下都有一个叫io的文件,里边保留这和iotop类似的信息
[root@iZ23iod5vslZ ~]# cat /proc/18987/io 
rchar: 58891582418
wchar: 58891579778
syscr: 46556085
syscw: 46556077
read_bytes: 212992
write_bytes: 59580235776
cancelled_write_bytes: 0

read_bytes和write_bytes是这个过程从磁盘读写的字节数.这个例子中cronolog读取了212992byte(0.2M)数据,写入了59580235776bytes(55.4G)数据到磁盘上.

(5)通过df -h /guojinbao来查看服务器那块磁盘的根目次
[root@iZ23iod5vslZ ~]# df -h /guojinbao/
filesystem      Size  Used Avail Use% Mounted on
/dev/xvdb1      45G  38G  4.7G  89% /guojinbao

最后,通过以上的信息我们可以放心的说lsof的结果便是我们要查找的文件

本文永远更新链接地址：

欢迎参与《liNUX学习：CentOS 7.2中磁盘iowait过高解决》讨论，分享您的想法，内存溢出PHP学院为您提供专业教程。

总结

以上是内存溢出为你收集整理的LINUX学习：CentOS 7.2中磁盘iowait过高解决全部内容，希望文章能够帮你解决LINUX学习：CentOS 7.2中磁盘iowait过高解决所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。