如何优雅地使用Linux系统OOM ( Out Of Memory Killer)

Linux内核根据服务器上当前运行应用的需要来分配内存。因为这通常是预先发生的，所以应用并不会使用所有分配的内存。这将会导致资源浪费，Linux内核允许超分内存以提高内存使用效率。Linux内核允许超分内存，比如总共8G内存，可以分给10个进程各1G，这通常没问题。但问题发生在太多应用一起占用内存，有8个进程各占了1G，剩下两个进程要喝西北风了。

由于内存不足，服务器有崩溃的风险。The  server runs the risk of crashing because it  ran out of memory。为了防止服务器到达这个临近状态，内核中有一个OOM Killer杀手进程。To prevent the server from reaching  that critical state, the kernel also contains a process known as the OOM Killer。内核利用这个杀手进程开始屠杀那些非必要进程，以便服务器正常运行。The kernel uses this  process to start killing non-essential  processes so the server can remain  operational.

当你认为这一切都不是问题时，因为OOM Killer只杀掉那些非必要的，不是用户需要的进程。举例，两个应用(Apache和MySQL)通常先被杀掉，因为占用大量的内存。但这将导致一个web网站立马瘫痪了。

当尝试找到为什么一个应用程序或进程被OOM killer杀掉时，有很多地方可以找到一个进程如何被杀掉以及被杀掉的原因。

$ grep -i kill /var/log/messages*

host kernel: Out of Memory: Killed process 5123 (exampleprocess)

The capital K in Killed tells you that the process was killed with a -9 signal, and this typically is a good indicator that the OOM Killer is to blame.

$ free -lh

The -l switch shows high and low memory  statistics, and the -h switch puts the output  into gigabytes for easier human readability. You can change this to the -m switch if you  prefer the output in megabytes.

同时该命令会给出Swap内存使用信息。注意：free命令给出某个时刻得数据，需要多执行几次才能知道内存动态的占用情况。

$ vmstat -SM 10 20

20次，每次间隔10秒给出内存使用情况。

top 默认输出CPU的使用情况，不过你可以在top后再按下shift + M，你将得到内存的使用情况。

配置文件/etc/sysctl.conf：

sysctl vm.panic_on_oom=1

sysctl kernel.panic=X

echo “vm.panic_on_oom=1” >>/etc/sysctl.conf

echo “kernel.panic=X” >>/etc/sysctl.conf

大多数情况下，内存不足时每次都重启是不合适的。

既可以保护一些重要进程不被OMM killer杀掉，又可以让不重要的进程更容易杀掉:

echo -15 >/proc/(PID)/oom_adj (不被杀)

echo 10 >/proc/(PID)/oom_adj (更易杀)

pstree -p | grep "process" | head -1

在某些情况下，豁免进程可能导致意外的行为变化，取决于系统和资源配置。假如内核无法杀死一个占用大量内存的进程，将杀死其他进程，包括那些重要的 *** 作系统进程。

由于OOM killer可调节的有效范围在-16到+15之间，设置为-17将豁免一个进程，因为在OOM killer调节范围之外。通常的规则是这个参数越大越容易被杀死豁免一个进程的命令是

echo -17 >/proc/(PID)/oom_adj

警告：不建议用于生产环境。

假如重启，修改进程优先级，豁免一个进程不足够好，有个风险的选项：将oom killer 功能关闭。

这一选项参数将有如下影响：

4.1) 严重的内核恐慌kernel panic

4.2) 系统挂住system hang-up

4.3) 一个完整的系统崩溃system crash

为什么关闭有风险呢呢？该功能避免自己因资源而跑飞了。如果你关闭此功能，将不能避免内存耗尽。考虑此项时请极度慎重。

sysctl vm.overcommit_memory=2

echo “vm.overcommit_memory=2” >>/etc/sysctl.conf

OOM Killer(Out of Memory Killer) 是当系统内存严重不足时 linux 内核采用的杀掉进程，释放内存的机制。

OOM Killer 通过检查所有正在运行的进程，然后根据自己的算法给每个进程一个 badness 分数，拥有最高 badness 分数的进程将会在内存不足时被杀掉。

它打分的算法如下:

某一个进程和它所有的子进程都占用了很多内存的将会打一个高分。

为了释放足够的内存来解决这种情况，将杀死最少数量的进程（最好是一个进程）。

内核进程和其他较重要的进程会被打成相对较低的分。

上面打分的标准意味着，当 OOM killer 选择杀死的进程时，将选择一个使用大量内存，有很多子进程且不是系统进程的进程。

简单来讲，oom-killer 的原则就是损失最小、收益最大，因此它会让杀死的进程数尽可能小、释放的内存尽可能大。在数据库服务器上，MySQL 被分配的内存一般不会小，因此容易成为 oom-killer 选择的对象。

“既然发生了 OOM，那必然是内存不足，内存不足这个问题产生原因很多。

首先第一个就是 MySQL 自身内存的规划有问题，这就涉及到 mysql 相应的配置参数。

另一个可以想到的原因就是一般部署 MySQL 的服务器，都会部署很多的监控和定时任务脚本，而这些脚本往往缺少必要的内存限制，导致在高峰期的时候占用大量的内存，导致触发 Linux 的 oom-killer 机制，最终 MySQL 无辜躺q牺牲。”

一个命令： 这个命令需要用户处于root权限才能看，执行之后可以看到： 简单说一下： total-vm就是进程使用的虚拟内存大小，其中部分内容映射到RAM本身，也就是主存，被分配和使用也就成了RSS。 部分RSS在实际内存块里面分配，成了anon-rss，叫做匿名内存。还有映射到设备和文件的RSS内存卡，叫做file-rss。 比如说： 你用vim指令打开一个巨大的文件，那么file-rss将会很高。 如果你用malloc()动态分配很大部分的内存，并且真的使用了它，那么anon-rss也会很高。 但是！！如果你使用malloc()分配了大量的内存，但是不去用它！那么total-vm将会变得更高，但是因为内存过量使用，不会使用真正的内存，那么rss值会很低。 可以看到上述信息，发现进程被杀掉了。 那么杀掉它的原因是什么呢？ 首先确定，当报出OOM的时候，系统的内存已经不足了，于是linux会决定杀掉进程，但是linux采用的策略并非是杀掉最占用内存的进程(Android是这样)。 linux会给每个进程评分：oom_score 根据这个评分去kill，决定这个分数的因素除了内存占用大小之外，还有内存增加的速率，比如说kylin，当执行Task构建Cube的时候，内存的占用会突然爆发式增长！发现这时候的分数老高了！然后就把它kill了。http://www.wowotech.net/memory_management/oom.html https://stackoverflow.com/questions/18845857/what-does-anon-rss-and-total-vm-mean

---