Linux磁盘IO流程

文件IO的分层设计

先看图：

malloc的buf对应application buffer，用户空间；

fwrite是系统提供的最上层接口，也是最常用的接口。它在用户进程空间开辟一个CLib buffer，将多次小数据量相邻写 *** 作(application buffer)先缓存起来，合并，最终调用write函数一次性写入（或者将大块数据分解多次write调用）；

write函数通过调用系统调用接口，将数据从应用层copy到内核层，所以write会触发内核态/用户态切换。当数据到达page cache后，内核并不会立即把数据往下传递。而是返回用户空间。数据什么时候写入硬盘，有内核IO调度决定，所以write是一个异步调用

read调用是先检查page cache里面是否有数据，如果有，就取出来返回用户，如果没有，就同步传递下去并等待有数据，再返回用户，所以read是一个同步过程；

fclose隐含fflush函数,fflush只负责把数据从Clibbuffer拷贝到pagecache中返回，并没有刷新到磁盘上，刷新到磁盘上可以使用fsync函数；

即便fsync仍有可能没写到磁盘上，一是磁盘有缓存，二是即便关闭缓存也可能为了跑分没有真正关闭；

** 一致性

fwrite使用用户进程私有空间，多线程必然需要做同步。write如果写大小小于PIPE_BUF，是原子 *** 作。根据已知信息，内核所做仅限于此，如果两个进程同时写文件，可能出现错乱，需要实测。

** 安全性

从前面的分层设计来看，使用fsync函数可以最大限度保障安全写入，但仍然没有绝对的安全性。

另外一张图

Linux下的缓存机制及清理buffer/cache/swap的方法梳理

（1）缓存机制

为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统 *** 作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接 *** 作磁盘。

缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。

CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当前运行状态保存下来，然后加载下一个任务，这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。

（2）查看缓存区及内存使用情况

[root@localhost ~]# free -m

total used free shared buffers cached

Mem: 7866 7725 141 19 74 6897

-/+ buffers/cache: 752 7113

Swap: 16382 32 16350

可以看到内存总共8G，已使用7725M，剩余141M，不少的人都是这么看的，这样并不能作为实际的使用率。因为有了缓存机制，具体该怎么算呢？

空闲内存=free（141）+buffers（74）+cached（6897）

已用内存=total（7866）-空闲内存

由此算出空闲内存是7112M，已用内存754M，这才是真正的使用率，也可参考-/+ buffers/cache这行信息也是内存正确使用率。

（3）可见缓存区分为buffers和cached，他们有什么区别呢？

内核在保证系统能正常使用物理内存和数据量读写情况下来分配缓冲区大小。buffers用来缓存metadata及pages，可以理解为系统缓存，例如，vi打开一个文件。cached是用来给文件做缓存，可以理解为数据块缓存，例如，dd if=/dev/zero of=/tmp/test count=1 bs=1G 测试写入一个文件，就会被缓存到缓冲区中，当下一次再执行这个测试命令时，写入速度会明显很快。

（4）随便说下Swap做什么用的呢？

Swap意思是交换分区，通常我们说的虚拟内存，是从硬盘中划分出的一个分区。当物理内存不够用的时候，内核就会释放缓存区（buffers/cache）里一些长时间不用的程序，然后将这些程序临时放到Swap中，也就是说如果物理内存和缓存区内存不够用的时候，才会用到Swap。

swap清理：

swapoff -a &&swapon -a

注意：这样清理有个前提条件，空闲的内存必须比已经使用的swap空间大

（5）怎样释放缓存区内存呢？

a)直接改变内核运行参数

#释放pagecache

echo 1 >/proc/sys/vm/drop_caches

#释放dentries和inodes

echo 2 >/proc/sys/vm/drop_caches

#释放pagecache、dentries和inodes

echo 3 >/proc/sys/vm/drop_caches

b)也可以使用sysctl重置内核运行参数

sysctl -w vm.drop_caches=3

注意：这两个方式都是临时生效，永久生效需添加sysctl.conf文件中，一般写成脚本手动清理，建议不要清理。

修改/etc/sysctl.conf 添加如下选项后就不会内存持续增加

vm.dirty_ratio = 1

vm.dirty_background_ratio=1

vm.dirty_writeback_centisecs=2

vm.dirty_expire_centisecs=3

vm.drop_caches=3

vm.swappiness =100

vm.vfs_cache_pressure=163

vm.overcommit_memory=2

vm.lowmem_reserve_ratio=32 32 8

kern.maxvnodes=3

上面的设置比较粗暴，使cache的作用基本无法发挥。需要根据机器的状况进行适当的调节寻找最佳的折衷。

1：清理残余的配置文件

一般而言，当从 Ubuntu 系统中删除了一个软件之后，该软件的残余配置文件并没有被删除。如果确信以后不再使用该软件，那么保留其配置文件实在没有必要，所以大可一并删除之。

要删除某个软件的残余配置文件，可以执行下面的 *** 作：

在终端中执行 sudo synaptic，以便启动 Synaptic 包管理工具。

点击 Synaptic 右下角的 Status 按钮进行切换。

现在，应该能够在 Synaptic 的左边看到 Not installed (residual config)。选择它即可在右边看到包含有残余配置文件的包，可以在此选择删除该包。

2：清理下载的缓存包

在 Ubuntu 中通过 sudo apt-get install 安装软件时，其下载的包都缓存在 /var/cache/apt/archives/ 目录中。如果要清理掉这些已下载的缓存包，那么可以执行命令：

sudo apt-get autoclean

sudo apt-get clean

3：清理不再需要的包

在 Ubuntu 系统中安装软件时，该软件的依赖通常也会自动安装上。那么，在删除该软件后，其依赖可能需要我们手动删除之。可以运行 sudo apt-get autoremove 命令来解决这个问题。

4：清理无用的语言文件

Ubuntu 与其他 Linux 发行版一样，是一个支持多语言界面的系统。其实，对使用自己母语的我们来说，通常保留中文即可，也可以保留自己所需要使用的语言，如英文。其他的语言文件则没有必要保留。

为了清理这些无用的语言文件，需要在 Ubuntu 系统中安装一个名为 localepurge 的小工具。

安装 localepurge 是十分简单的，只需执行 sudo aptitude install localepurge 命令就可以了。在安装的过程中，程序会提示进入如下图所示的画面中进行配置。

localepurge

使用空格键可以选择需要保留的区域配置，其他的则会被删除。当以后在安装程序时，此工具也会自动执行，勿需再次配置。中文用户保留zh、zh_CN、zh_CN.*

---