Linux中Cache内存占用过高解决办法

在Linux系统中，我们经常用free命令来查看系统内存的使用状态。

默认显示单位是kb，我的服务器是128G内存，所以数字显得比较大。这个命令几乎是每一个使用过Linux的人必会的命令，但越是这样的命令，似乎真正明白的人越少（我是说比例越少）。一般情况下，对此命令输出的理解可以分这几个层次：

1.  不了解。这样的人的第一反应是：天啊，内存用了好多，70个多G，可是我几乎没有运行什么大程序啊？为什么会这样？Linux好占内存！

2.  自以为很了解。这样的人一般评估过会说：嗯，根据我专业的眼光看的出来，内存才用了17G左右，还有很多剩余内存可用。buffers/cache占用的较多，说明系统中有进程曾经读写过文件，但是不要紧，这部分内存是当空闲来用的。

3.   真的很了解。这种人的反应反而让人感觉最不懂Linux，他们的反应是：free显示的是这样，好吧我知道了。神马？你问我这些内存够不够，我当然不知道啦！我怎么知道你程序怎么写的？

4.   根据目前网络上技术文档的内容，我相信绝大多数了解一点Linux的人应该处在第二种层次。大家普遍认为，buffers和cached所占用的内存空间是可以在内存压力较大的时候被释放当做空闲空间用的。但真的是这样么？

在论证这个题目之前，我们先简要介绍一下buffers和cached是什么意思：

Free中的buffer和cache：（它们都是占用内存）：

buffer : 作为buffer cache的内存，是块设备的读写缓冲区

cache: 作为page cache的内存, 文件系统的cache

如果 cache 的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被cache住，那么磁盘的读IO bi会非常小。

cache是高速缓存，用于CPU和内存之间的缓冲；

buffer

是I/O缓存，用于内存和硬盘的缓冲

buffer和 cache 是两个在计算机技术中被用滥的名词，放在不通语境下会有不同的意义。在Linux的内存管理中，这里的buffer指Linux内存的：Buffer cache。这里的cache指Linux内存中的：Page

cache。翻译成中文可以叫做缓冲区缓存和页面缓存。在历史上，它们一个（buffer）被用来当成对io设备写的缓存，而另一个（cache）被用来当作对io设备的读缓存，这里的io设备，主要指的是块设备文件和文件系统上的普通文件。但是现在，它们的意义已经不一样了。在当前的内核中，page cache顾名思义就是针对内存页的缓存，说白了就是，如果有内存是以page进行分配管理的，都可以使用page cache作为其缓存来管理使用。当然，不是所有的内存都是以页（page）进行管理的，也有很多是针对块（block）进行管理的，这部分内存使用如果要用到cache功能，则都集中到buffer cache中来使用。（从这个角度出发，是不是buffer cache改名叫做block cache更好？）然而，也不是所有块（block）都有固定长度，系统上块的长度主要是根据所使用的块设备决定的，而页长度在X86上无论是32位还是64位都是4k。

明白了这两套缓存系统的区别，就可以理解它们究竟都可以用来做什么了。

Page cache主要用来作为文件系统上的文件数据的缓存来用，尤其是针对当进程对文件有read／write *** 作的时候。如果你仔细想想的话，作为可以映射文件到内存的系统调用：mmap是不是很自然的也应该用到page cache？在当前的系统实现里，page cache也被作为其它文件类型的缓存设备来用，所以事实上page cache也负责了大部分的块设备文件的缓存工作。

Buffer cache则主要是设计用来在系统对块设备进行读写的时候，对块进行数据缓存的系统来使用。这意味着某些对块的 *** 作会使用buffer cache进行缓存，比如我们在格式化文件系统的时候。一般情况下两个缓存系统是一起配合使用的，比如当我们对一个文件进行写 *** 作的时候，page cache的内容会被改变，而buffer cache则可以用来将page标记为不同的缓冲区，并记录是哪一个缓冲区被修改了。这样，内核在后续执行脏数据的回写（writeback）时，就不用将整个page写回，而只需要写回修改的部分即可。

Linux内核会在内存将要耗尽的时候，触发内存回收的工作，以便释放出内存给急需内存的进程使用。一般情况下，这个 *** 作中主要的内存释放都来自于对buffer／cache的释放。尤其是被使用更多的cache空间。既然它主要用来做缓存，只是在内存够用的时候加快进程对文件的读写速度，那么在内存压力较大的情况下，当然有必要清空释放cache，作为free空间分给相关进程使用。所以一般情况下，我们认为buffer/cache空间可以被释放，这个理解是正确的。

但是这种清缓存的工作也并不是没有成本。理解cache是干什么的就可以明白清缓存必须保证cache中的数据跟对应文件中的数据一致，才能对cache进行 释放 。所以伴随着cache清除的行为的，一般都是系统IO飙高。因为内核要对比cache中的数据和对应硬盘文件上的数据是否一致，如果不一致需要写回，之后才能回收。

在系统中除了内存将被耗尽的时候可以清缓存以外，我们还可以使用下面这个文件来人工触发缓存清除的 *** 作：

[root@tencent64 ~]# cat /proc/sys/vm/drop_caches 

1

方法是：

echo 1 > /proc/sys/vm/drop_caches

当然，这个文件可以设置的值分别为1、2、3。它们所表示的含义为：

sync //先做同步数据 防止数据部分丢失

echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。

echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的对象（包括目录项缓存和inode缓存）。slab分配器是内核中管理内存的一种机制，其中很多缓存数据实现都是用的pagecache。

echo 3 > /proc/sys/vm/drop_caches:表示清除pagecache和slab分配器中的缓存对象。

#!/bin/bashecho       "开始清理缓存"

syncsyncsync        #写入硬盘，防止数据丢失

sleep 10                      #延迟10秒

echo 1 >/proc/sys/vm/drop_cachesecho                  "清理结束"

设置定时任务

crontab -e

* 0 * * * /root/cleanBuff.sh                       

crontab -l                   //查看是否设置成功

socket不是这么接收数据的由于socket是以数据流的形式发送数据，接收方不知道对方一次性发送了多少数据，也能保证对方一次性发送的数据能在同一刻接收到，所以Receive方法是这么工作的：接受一个byye[]类型的参数作为缓冲区，在经过一定的时间后把接收到的数据填充到这个缓冲区里面，并且返回实际接收到数据的长度，这个实际接收到的数据长度有可能为0（没有接收到数据）、大于0小于缓冲区的长度（接收到数据，但是没有我们预期的多）、等于缓冲区的长度（说明接收到的数据大于等于我们预期的长度）。每次接收缓冲区都用同一个byte[] byteMessage，并且你没有检查接收到的数据长度，所以第一次你接收到的数据是123456，第二次你只接收到了8，但是缓冲区里面还有23456，所以加起来就是823456了。socket接收缓冲区的大小有讲究，设置大了接收起来慢，因为它要等尽可能多的数据接收到了再返回；设置小了需要重复多次调用接收方法才能把数据接收完，socket有个属性，标识了系统默认的接收缓冲区大小，可以参考这个！还有就是用recv读取，但是由于不知道缓存里有多少数据，如果是阻塞模式，到最后必然等到超时才知道数据已经读取完毕，这是个问题。另一个是用fgetc，通过返回判断是否是feof：whlie （1） { a=fgetc（f）；if （feof（f）） break；//…b=fgetc（f）；if （feof（f）） break；//…}当然，我不知道读取完毕后最后一次调用fgetc会不会堵塞，需要测试。在非阻塞模式下，我们用recv就可以轻松搞定了，但是阻塞模式下，由于我们不知道缓冲区有多少数据，不能直接调用recv尝试清除。使用一个小小的技巧，利用select函数，我们可以轻松搞定这个问题：select函数用于监视一个文件描述符集合，如果集合中的描述符没有变化，则一直阻塞在这里，直到超时时间到达；在超时时间内，一旦某个描述符触发了你所关心的事件，select立即返回，通过检索文件描述符集合处理相应事件；select函数出错则返回小于零的值，如果有事件触发，则返回触发事件的描述符个数；如果超时，返回0，即没有数据可读。重点在于：我们可以用select的超时特性，将超时时间设置为0，通过检测select的返回值，就可以判断缓冲是否被清空。通过这个技巧，使一个阻塞的socket成了‘非阻塞’socket.现在就可以得出解决方案了：使用select函数来监视要清空的socket描述符，并把超时时间设置为0，每次读取一个字节然后丢弃（或者按照业务需要进行处理，随你便了），一旦select返回0，说明缓冲区没数据了（“超时”了）。struct timeval tmOut；tmOut.tv_sec = 0；tmOut.tv_usec = 0；fd_set fds；FD_ZEROS（&fds）；FD_SET（skt， &fds）；int nRet；char tmp[2]；memset（tmp， 0， sizeof（tmp））；while（1）{ nRet= select（FD_SETSIZE， &fds， NULL， NULL， &tmOut）；if（nRet== 0） break；recv（skt， tmp， 1，0）；}这种方式的好处是，不再需要用recv、recvfrom等阻塞函数直接去读取，而是使用select，利用其超时特性检测缓冲区是否为空来判断是否有数据，有数据时才调用recv进行清除。有人说同样可以用recv和socket的超时设置去清空啊，这个没错，但是你需要直接对socket描述符设置超时时间，而为了清空数据而直接修改socket描述符的属性，可能会影响到其他地方的使用，造成系统奇奇怪怪的问题，所以，不推荐使用。

如果 Linux 在读取串口数据时一直返回最后一个数据包，可能有以下几个原因：

1. 数据没有被清空：在每次读取完数据之后，需要把读取到的数据清空，否则下次读取时就会读到上次未清空的数据。可以使用`memset`函数把缓冲区清空。

2. 缓冲区溢出：当读取速度比串口接收速率快时，会造成数据的积累，导致缓冲区溢出。可以考虑增加读取间隔时间，或者增加缓冲区大小来解决该问题。

3. 波特率设置错误：如果波特率设置不正确，会导致传输数据出错。可以在代码中检查波特率是否与硬件匹配。

4. 串口状态错误：如果串口状态不正确，也会导致数据读取失败。可以使用`tcgetattr`函数获取当前的串口属性，然后再设置正确的属性。

需要进一步调试和分析才能确定具体原因。建议使用调试器或打印调试信息来进行排查。

---