linux kernel 文件系统编程接口

进程读写文件之前需要 打开文件 ,得到 文件描述符 ,然后 通过文件描述符读写文件 .

内核提供了两个打开文件的系统调用 open 和 openat .

打开文件的主要步骤如下:

(1)需要 在父目录的数据中查找文件对应的目录项 , 从目录项得到索引节点的编号,然后在内存中创建索引节点的副本 .因为各种文件系统类型的物理结构不同,所以需要提供索引节点 *** 作集合的 lookup 方法和文件 *** 作集合的 open 方法.

(2)需要分配文件的一个打开实例-- file 结构体,关联到文件的索引节点.

(3)在进程的打开文件表中 分配一个文件描述符 , 把文件描述符和打开实例的映射添加到进程的打开文件表 中.

进程可通过使用系统调用 close 关闭文件.

系统调用close的执行流程如下:

(1)解除打开文件表和file实例的关联.

(2)在close_on_exec位图中清楚文件描述符对应的位.

(3)释放文件描述符,在文件描述符位图中清除文件描述符对应的位.

(4)调用函数fput释放file实例:把引用计数减1,如果引用计数是0,那么把file实例添加到链表delayed_fput_list中,然后调用延迟工作项delayed_fput_work.

延迟工作项delayed_fput_work的处理函数是flush_delayed_fput,遍历链表delayed_fput_list,针对每个file实例,调用函数__fput来加以释放.

创建不同类型的文件,需要使用不同的命令.

(1) 普通文件 :touch FILE ,这条命令本来用来更新文件的访问时间和修改时间,如果文件不存在,创建文件.

(2) 目录 :mkdir DIRECTORY .

(3) 符号链接(软链接) :ln -s TARGET LINK_NAME 或ln --symbolic TARGET LINK_NAME .

(4) 字符或块设备文件 :mknod NAME TYPE [MAJOR MINOR] .

(5) 命名管道 :mkpipe NAME .

(6) 硬连接 :命令"ln TARGET　LINK_NAME ".给已经存在的文件增加新的名称,文件的索引节点有一个硬链接计数,如果文件有n个名称,那么硬链接计数是n.

创建文件需要在文件系统中 分配一个索引节点 ,然后 在父目录的数据中增加一个目录项来保存文件的名称和索引节点编号 .

删除文件的命令如下:

(1)删除任何类型文件:unlink FILE .

(2)rm FILE ,默认不删除目录,如果使用"-r""-R"或"-recursive",可以删除目录和目录的内容.

(3)删除目录:rmdir DICTIONARY .

内核提供了unlink,unlinkat用来删除文件的名称,如果文件的硬链接计数变成0,并且没有进程打开这个文件,那么删除文件.提供了rmdir删除目录.

删除文件需要从父目录的数据中删除文件对应的目录项, 把文件的索引节点的硬链接计数减1(一个文件可以有多个名称,Linux把文件名称称为硬链接),如果索引节点的硬链接计数变成0,那么释放索引节点 .因为各种文件系统的物理结构不同,所以需要提供索引节点 *** 作集合的 unlink 方法.

设置文件权限的命令如下:

(1)chmod [OPTION]... MODE[, MODE]... FILE...

mode : 权限设定字串，格式[ugoa...][[+-=][rwxX]...][,...]

其中：

(2)chmod [OPTION]... OCTAL-MODE FILE...

参数OCTAL-MODE是八进制数值.

系统调用chmod负责修改文件权限.

修改文件权限需要修改文件的索引节点的文件模式字段,文件模式字段包含文件类型和访问权限.因为各种文件系统类型的索引节点不同,所以需要提供索引节点 *** 作集合的 setattr 方法.

访问外部存储设备的速度很慢,为了避免每次读写文件时访问外部存储设备, 文件系统模块为每个文件在内存中创建一个缓存 ,因为 缓存的单位是页 ,所以称为 页缓存 .

(1) 索引节点的成员i_mapping 指向地址空间结构体(address_space).进程在打开文件的时候, 文件打开实例(file结构体)的成员f_mapping 也会指向文件的地址空间.

(2)每个文件有一个地址空间结构体 address_space ,成员 page_tree 的类型是结构体radix_tree_root:成员 gfp_mask是分配内存页的掩码,成员rnode指向基数树的根节点 .

(3)使用基数树管理页缓存,把文件的页索引映射到内存页的页描述符.

每个文件都有一个地址空间结构体address_space,用来建立数据缓存(在内存中为某种数据创建的缓存)和数据来源(即存储设备)之间的关联.结构体address_space如下:

地址空间 *** 作结合address_space_operations的主要成员如下:

页缓存的常用 *** 作函数如下:

(1)函数find_get_page根据文件的页索引在页缓存中查找内存页.

(2)函数find_or_create_page根据文件的页索引在页缓存中查找内存页,如果没有找到内存页,那么分配一个内存页,然后添加到页缓存中.

(3)函数add_to_page_cache_lru把一个内存页添加到页缓存和LRU链表中.

(4)函数delete_from_page_cache从页缓存中删除一个内存页.

进程读文件的方式有3种:

(1)调用内核提供的 读文件的系统调用 .

(2)调用glibc库封装的读文件的 标准I/O流函数 .

(3)创建基于文件的内存映射,把 文件的一个区间映射到进程的虚拟地址空间,然后直接读内存 .

第2种方式在用户空间创建了缓冲区,能减少系统调用的次数,提高性能.第3种方式可以避免系统调用,性能最高.

读文件的主要步骤如下:

(1)调用具体文件系统类型提供的文件 *** 作集合的read和read_iter方法来读文件.

(2) read或read_iter方法根据页索引在文件的页缓存中查找页,如果没有找到,那么调用具体文件系统类型提供的地址空间集合的readpage方法来从存储设备读取文件页到内存中 .

为了提高读文件的速度,从存储设备读取文件页到内存中的时候,除了读取请求的文件页,还会预读后面的文件页.如果进程按顺序读文件,预读文件页可以提高读文件的速度如果进程随机读文件,预读文件页对提高读文件的速度帮助不大.

进程写文件的方式有3种:

(1)调用内核提供的 写文件的系统调用 .

(2)调用glibc库封装的写文件的 标准I/O流函数 .

(3)创建基于文件的内存映射,把 文件的一个区间映射到进程的虚拟空间,然后直接写内存 .

第2种方式在用户空间创建了缓冲区,能够减少系统调用的次数,提高性能.第3种方式可以避免系统调用,性能最高.

写文件的主要步骤如下:

(1)调用具体文件系统类型提供的文件 *** 作集合的write或write_iter方法来写文件.

(2)write或write_iter方法调用文件的地址空间 *** 作集合的 write_begin 方法, 在页缓存查找页,如果页不存在就分配页然后把数据从用户缓冲区复制到页缓存的页中 最后调用文件的地址空间 *** 作集合的 write_end 方法.

进程写文件时,内核的文件系统模块把数据写到文件的页缓存,没有立即写回到存储设备.文件系统模块会定期把脏页写回到存储设备,进程也可以调用系统调用把脏页强制写回到存储设备.

管理员可以执行命令"sync",把内存中所有修改过的文件元数据和文件数据写回到存储设备.

内核提供了 sync , syncfs , fsync , fdatasync , sync_file_range 等系统调用用于文件写回.

把文件写回到存储设备的时机如下:

(1)周期回写.

(2)当脏页的数量达到限制的时候,强制回写.

(3)进程调用sync和syncfs等系统调用.

对于类似内存的块设备,例如NVDIMM设备,不需要把文件从存储设备复制到页缓存.DAX绕过页缓存,直接访问存储设备,对于基于文件的内存映射,直接把存储设备映射到进程的虚拟地址空间.

调用系统调用mmap创建基于文件的内存映射,把文件的一个区间映射到进程的虚拟地址空间,这会调用具体文件系统类型提供的文件 *** 作集合的mmap方法.mmap方法针对设置了标志位S_DAX的索引节点,处理方法如下:

(1)给虚拟内存区域设置标志位VM_MIXEDMAP和VM_HUGEPAGE.

(2)设置虚拟内存 *** 作集合,提供fault,huge_fault,page_mkwrite和pfn_mkwrite方法.

Linux 实现 IPC 其中的一种方式——管道

管道又分：

1、无名管道：无名管道只能用于有亲缘关系的进程。

2、有名管道：有名管道用于任意两进程间通信。

你就可以把管道理解成位于进程内核空间的“文件”。

给文件加引号，是因为它和文件确实很像，因为它也有描述符。但是它确实又不是普通的本地文件，而是一种抽象的存在。

当进程使用 pipe 函数，就可以打开位于内核中的这个特殊“文件”。同时 pipe 函数会返回两个描述符，一个用于读，一个用于写。如果你使用 fstat函数来测试该描述符，可以发现此文件类型为 FIFO。

而无名管道的无名，指的就是这个虚幻的“文件”，它没有名字。本质上，pipe 函数会在进程内核空间申请一块内存（比如一个内存页，一般是 4KB），然后把这块内存当成一个先进先出（FIFO）的循环队列来存取数据，这一切都由 *** 作系统帮助我们实现了。

pipe 函数打开的文件描述符是通过参数（数组）传递出来的，而返回值表示打开成功（0）或失败（-1）。

它的参数是一个大小为 2 的数组。此数组的第 0 个元素用来接收以读的方式打开的描述符，而第 1 个元素用来接收以写的方式打开的描述符。也就是说，pipefd[0] 是用于读的，而 pipefd[1] 是用于写的。

打开了文件描述符后，就可以使用 read(pipefd[0]) 和 write(pipefd[1]) 来读写数据了。

注意事项

1、这两个分别用于读写的描述符必须同时打开才行，否则会出问题。

2、如果关闭读 (close(pipefd[0])) 端保留写端，继续向写端 (pipefd[1]) 端写数据(write 函数)的进程会收到 SIGPIPE 信号。

3、如果关闭写 (close(pipefd[1])) 端保留读端，继续向读端 (pipefd[0]) 端读数据(read 函数)，read 函数会返回 0。

当在进程用 pipe 函数打开两个描述符后，我们可以 fork 出一个子进程。这样，子进程也会继承这两个描述符，而且这两个文件描述符的引用计数会变成 2。

如果你需要父进程向子进程发送数据，那么得把父进程的 pipefd[0] （读端）关闭，而在子进程中把 pipefd[1] 写端关闭，反之亦然。为什么要这样做？实际上是避免出错。传统上 pipe 管道只能用于半双工通信（即一端只能发，不能收；而另一端只能收不能发），为了安全起见，各个进程需要把不用的那一端关闭（本质上是引用计数减 1）。

步骤一：fork 子进程

步骤二：关闭父进程读端，关闭子进程写端

父进程 fork 出一个子进程，通过无名管道向子进程发送字符，子进程收到数据后将字符串中的小写字符转换成大写并输出。

有名管道打破了无名管道的限制，进化出了一个实实在在的 FIFO 类型的文件。这意味着即使没有亲缘关系的进程也可以互相通信了。所以，只要不同的进程打开 FIFO 文件，往此文件读写数据，就可以达到通信的目的。

1、文件属性前面标注的文件类型是 p

2、代表管道文件大小是 0

3、fifo 文件需要有读写两端，否则在打开 fifo 文件时会阻塞

通过命令 mkfifo 创建

通过函数 mkfifo创建

函数返回 0 表示成功，-1 失败。

例如:

cat 命令打印 test文件内容

接下来你的 cat 命令被阻塞住。

开启另一个终端，执行：

然后你会看到被阻塞的 cat 又继续执行完毕，在屏幕打印 “hello world”。如果你反过来执行上面两个命令，会发现先执行的那个总是被阻塞。

有两个程序，分别是发送端 send 和接收端面 recv。程序 send 从标准输入接收字符，并发送到程序 recv，同时 recv 将接收到的字符打印到屏幕。

发送端

接收端

编译

运行

因为 recv 端还没打开test文件，这时候 send 是阻塞状态的。

再开启另一个终端：

这时候 send 端和 recv 端都在终端显示has opend fifo

此时在 send 端输入数据，recv 打印。

大致原因如下：

1、强大的命令行

命令行有很多功能，如快速、自动化管理系统及处理业务，这消除了开发者对鼠标或触控板的需求，使开发者能够直接通过键盘输入指令来管理系统。自动化管理系统及处理业务可以让开发者专注于手头更重要的任务从而节省下大量实践。作为Linux的核心组件之一，尽管Linux命令行并不完美但始终保持了终端的纯度。

2、Linux非常安全

由于Linux是开源的由大型开发者社区开发和维护，所以安全漏洞被发现和修复的几率更高。此外Windows作为最受欢迎的 *** 作系统，据相关数据统计，Windows设备以76.7%的占比排名第一。因此更多恶意攻击针对的是Windows而不是Linux。

3、对开发者友好

与Windows相比Linux在很大程度上对用户更友好更容易被接受。如Linux有为开发者专门提供的工具，所以它在开发者中非常受欢迎。在Linux中，开发者能够拥有编译器、命令行编辑器、几乎可以调整任何内容的能力、以及自己设置快捷方式的能力，并且这一切都是开箱即用。

4、定期更新

由于Linux是开源的随着人们发现漏洞、安全缓存和错误脚本，开发者会定期得到大量的更新，这就是Linux用户的主要优势之一。

5、社区支持

Linux社区致力于服务所有的Linux用户，因此它将提供长期的支持。Windows社区却与Linux不同，Windows社区之前停止为Windows7用户提供支持，因此如果开发者在Windows7中遇到任何问题或数据泄露的麻烦都将无法联系到帮助中心。但当Linux用户遇到麻烦时，可以在许多地方寻求到帮助，比如：Twitter、LinkedIn、Forums等。

6、隐私性强

Linux不会收集或与任何人分享用户的信息。用户甚至可以关闭收集数据的开发建议，如果打开，也只会提供给Linux的开发团队。如果你曾经使用过Windows10，你会注意到默认的隐私设置会自动开启所有功能。即使你选择不提交有关自己的Microsoft数据，你的信息也依旧会被收集，除非你使用一组程序来禁用Windows的窃听模块。

7、网络安全

Linux通常是网络安全方面最常用的 *** 作系统。这是因为Linux不容易受到病毒攻击，而且它的系统维护得非常好，使系统中出现漏洞的机会极少。因此，通过使用Linux，开发者可以学习到它在网络安全方面的经验，如学习如何保护个人或专业数据免受暴力破解攻击、网络攻击或任何其他类型的攻击，以此来避免个人数据被攻击而泄露。

---