Linux系统CPU内存使用率过高的问题排查

    服务器出现由内存问题引发的故障，例如系统内部服务响应速度变慢、服务器登录不上、系统触发 OOM（Out Of Memory）等。通常情况下当实例内存使用率持续高于90%时，可判断为实例内存使用率过高。CPU/内存使用率过高的问题原因可能由硬件因素、系统进程、业务进程或者木马病毒等因素导致。     笔者以前写过一篇文章- Linux 下的 60 秒分析的检查清单 ，适用于 任何性能问题 的分析工作，这一篇文章是关于CPU/内存使用率的具体的排查思路总结。     执行 top 命令后按  M ，根据驻留内存大小进行排序，查看 “RES” 及 “SHR” 列是否有进程占用内存过高。按 P，以 CPU 占用率大小的顺序排列进程列表，查看是否有进程占用cpu过高。     如果有异常进程占用了大量 CPU 或内存资源，记录需要终止的进程 PID，输入k，再输入需要终止进程的 PID ，按 Enter。     另外说明一下，top 运行中可以通过 top 的内部命令对进程的显示方式进行控制，最常用的是M和P。     CPU 空闲但高负载情况，Load average 是 CPU 负载的评估，其值越高，说明其任务队列越长，处于等待执行的任务越多。执行ps -axjf命令，查看进程状态，并检查是否存在 D 状态进程。D 状态指不可中断的睡眠状态，该状态进程无法被杀死，也无法自行退出。若出现较多 D 状态进程，可通过恢复该进程依赖资源或重启系统进行解决。     Linux 系统通过分页机制管理内存的同时，将磁盘的一部分划出来作为虚拟内存。而 kswapd0 是 Linux 系统虚拟内存管理中负责换页的进程。当系统内存不足时，kswapd0 会频繁的进行换页 *** 作。换页 *** 作非常消耗 CPU 资源，导致该进程持续占用高 CPU 资源。     执行top命令，找到 kswapd0 进程。观察 kswapd0 进程状态，若持续处于非睡眠状态，且运行时间较长并持续占用较高 CPU 资源，执行 vmstat ，free，ps 等指令，查询系统内进程的内存占用情况，重启系统或终止不需要且安全的进程。如果 si，so 的值也比较高，则表示系统存在频繁的换页 *** 作，当前系统的物理内存已经不能满足您的需要。  si  表示每秒从交换区写入内存的大小(单位:kb/s) ， so  每秒从内存写到交换区的大小。     执行cat/proc/meminfo |grep-i shmem命令查看共享内存。         buddy可以以页为单位获取连续的物理内存了，即4K为单位。slab负责需要频繁的获取/释放并不大的连续物理内存，比如几十字节。执行cat /proc/meminfo | grep -i SUnreclaim命令查看slab 内存。         标准的 4KB 大小的页面外，内存大页管理内存中的巨大的页面，处理较少的页面映射表，从而减少访问/维护它们的开销。执行cat /proc/meminfo | grep -iE "HugePages_Total|Hugepagesize" 查看内存大页。 内存使用率计算：  (Total - available)100% / Total （Total - Free - Buffers - Cached - SReclaimable + Shmem）* 100% / Total   cat /proc/meminfo查看信息含义：

先来在阿里的ECS上top一下感受内存爆满的感觉，终端输入 top

结合 *** 作系统，计组等课程，以及多年以来windows培养给我的直觉，认为0.96G（1016272K）的总内存，使用了0.84G(880960K)的内存，使用率高达88%。然而我还啥都没干，怎么会这样呢？

仔细查看还会发现后面有一个buffers，Swap后面还有一个Cached Mem。

现在我们用free来观察下

虽然Mem显示了0.9G左右的used，但是-/+buffers/cache(减去buffers和cache的结果)可以看到，当前进程实际占用内存是0.24G(256348K)，而可用空闲（free）内存为0.72G(759924K)。

可以这么理解：在linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时（还够用），不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。

如上面的例子：共1G的内存，0.9G被占用，但是buffer和cached

mem部分作为缓存，可以使用命中率的方式提高使用效率，而且这部分缓存是根据指令随时可以释放的，我们可以认为这部分内存没有实际被使用，也可以认为它是空闲的。

因此查看目前进程正在实际被使用的内存，是used-(buffers+cache)，也可以认为如果swap没有大量使用，mem还是够用的，只有mem被当前进程实际占用完（没有了buffers和cache），才会使用到swap的。

再举个栗子： 这个是我在RPi一群看到的一个群友发的探针监测截图

观察内存使用状况一栏，发现物理内存功925.89M，已用911.74M，Cache化的内存是676.46M，Buffers为61.3M，现在用上述公式：

带入：

httpd ？apache2 啊……apache 的内存占用确实很大的。

你要是真的想减少内存，可以试试换个 web 服务器程序，比如 nginx ，除了他还有别的可选，比如 lighttpd 什么的。

不过你的 swap 使用只有 50M 多一点，也就是说物理内存其实没有溢出，这种状况可以无视。因为优化性能的原因，Linux 下面的程序向来是尽可能的占用内存，只要不是出现大量占用交换分区这种速度缓慢的虚拟内存，性能应该不受影响。

服务器速度慢的原因很多，先检查一下网络带宽占用情况吧。其次还有同时并发数。

---