Linux编程--文件原子 *** 作

当多个进程同时访问一个文件的时候，普通的write/read在执行的时候，无法保证 *** 作的原子性，可能会导致文件被污染，达不到预期的结果。

任何一个需要多个函数调用的 *** 作都不可能是原子 *** 作，因为在两个函数调用间，内核可能会将进程挂起执行另外的进程。

如果想要避免这种情况的话，则需要使用pread/pwrite函数

ssize_t pread(int fd ，void *buffer ，size_t size，off_t offset)

返回真正读取到的字节数，offset是指的从文件开始位置起的offset个字节数开始读。其余的参数与read无异。

PS:

pread是无法中断的原子 *** 作，无法中断它的定位和读取 *** 作

pread读取过后的文件偏移量不会发生改变

同理pwrite也是一样的

而在文件创建的时候也是一样的，当需要做文件创建同步的时候，我们需要在O_CREATE的时候，加上O_EXCL标志位，当已经创建过的话，会返回fd，否则返回错误

int dup( int filedes)：

传入一个文件描述符，返回当前可用的最小文件描述符。

int dup2(int filedes，int filedes2)：

传入文件描述符，以及新的文件描述符，如果新的文件描述符所指向的文件已经打开，则会强行将其关闭后，将该文件描述符指向到已存在的文件描述符。

如果filedes和filedes2指向同一个文件，则不做任何处理，直接返回filedes2，不会关闭文件

新返回回来的filedes2会共享filedes的文件状态标识，文件偏移量等等信息。因为它们的文件指针会指向文件表的同一个位置。只是fd不一样而已。

进程读写文件之前需要 打开文件 ,得到 文件描述符 ,然后 通过文件描述符读写文件 .

内核提供了两个打开文件的系统调用 open 和 openat .

打开文件的主要步骤如下:

(1)需要 在父目录的数据中查找文件对应的目录项 , 从目录项得到索引节点的编号,然后在内存中创建索引节点的副本 .因为各种文件系统类型的物理结构不同,所以需要提供索引节点 *** 作集合的 lookup 方法和文件 *** 作集合的 open 方法.

(2)需要分配文件的一个打开实例-- file 结构体,关联到文件的索引节点.

(3)在进程的打开文件表中 分配一个文件描述符 , 把文件描述符和打开实例的映射添加到进程的打开文件表 中.

进程可通过使用系统调用 close 关闭文件.

系统调用close的执行流程如下:

(1)解除打开文件表和file实例的关联.

(2)在close_on_exec位图中清楚文件描述符对应的位.

(3)释放文件描述符,在文件描述符位图中清除文件描述符对应的位.

(4)调用函数fput释放file实例:把引用计数减1,如果引用计数是0,那么把file实例添加到链表delayed_fput_list中,然后调用延迟工作项delayed_fput_work.

延迟工作项delayed_fput_work的处理函数是flush_delayed_fput,遍历链表delayed_fput_list,针对每个file实例,调用函数__fput来加以释放.

创建不同类型的文件,需要使用不同的命令.

(1) 普通文件 :touch FILE ,这条命令本来用来更新文件的访问时间和修改时间,如果文件不存在,创建文件.

(2) 目录 :mkdir DIRECTORY .

(3) 符号链接(软链接) :ln -s TARGET LINK_NAME 或ln --symbolic TARGET LINK_NAME .

(4) 字符或块设备文件 :mknod NAME TYPE [MAJOR MINOR] .

(5) 命名管道 :mkpipe NAME .

(6) 硬连接 :命令"ln TARGET　LINK_NAME ".给已经存在的文件增加新的名称,文件的索引节点有一个硬链接计数,如果文件有n个名称,那么硬链接计数是n.

创建文件需要在文件系统中 分配一个索引节点 ,然后 在父目录的数据中增加一个目录项来保存文件的名称和索引节点编号 .

删除文件的命令如下:

(1)删除任何类型文件:unlink FILE .

(2)rm FILE ,默认不删除目录,如果使用"-r""-R"或"-recursive",可以删除目录和目录的内容.

(3)删除目录:rmdir DICTIONARY .

内核提供了unlink,unlinkat用来删除文件的名称,如果文件的硬链接计数变成0,并且没有进程打开这个文件,那么删除文件.提供了rmdir删除目录.

删除文件需要从父目录的数据中删除文件对应的目录项, 把文件的索引节点的硬链接计数减1(一个文件可以有多个名称,Linux把文件名称称为硬链接),如果索引节点的硬链接计数变成0,那么释放索引节点 .因为各种文件系统的物理结构不同,所以需要提供索引节点 *** 作集合的 unlink 方法.

设置文件权限的命令如下:

(1)chmod [OPTION]... MODE[, MODE]... FILE...

mode : 权限设定字串，格式[ugoa...][[+-=][rwxX]...][,...]

其中：

(2)chmod [OPTION]... OCTAL-MODE FILE...

参数OCTAL-MODE是八进制数值.

系统调用chmod负责修改文件权限.

修改文件权限需要修改文件的索引节点的文件模式字段,文件模式字段包含文件类型和访问权限.因为各种文件系统类型的索引节点不同,所以需要提供索引节点 *** 作集合的 setattr 方法.

访问外部存储设备的速度很慢,为了避免每次读写文件时访问外部存储设备, 文件系统模块为每个文件在内存中创建一个缓存 ,因为 缓存的单位是页 ,所以称为 页缓存 .

(1) 索引节点的成员i_mapping 指向地址空间结构体(address_space).进程在打开文件的时候, 文件打开实例(file结构体)的成员f_mapping 也会指向文件的地址空间.

(2)每个文件有一个地址空间结构体 address_space ,成员 page_tree 的类型是结构体radix_tree_root:成员 gfp_mask是分配内存页的掩码,成员rnode指向基数树的根节点 .

(3)使用基数树管理页缓存,把文件的页索引映射到内存页的页描述符.

每个文件都有一个地址空间结构体address_space,用来建立数据缓存(在内存中为某种数据创建的缓存)和数据来源(即存储设备)之间的关联.结构体address_space如下:

地址空间 *** 作结合address_space_operations的主要成员如下:

页缓存的常用 *** 作函数如下:

(1)函数find_get_page根据文件的页索引在页缓存中查找内存页.

(2)函数find_or_create_page根据文件的页索引在页缓存中查找内存页,如果没有找到内存页,那么分配一个内存页,然后添加到页缓存中.

(3)函数add_to_page_cache_lru把一个内存页添加到页缓存和LRU链表中.

(4)函数delete_from_page_cache从页缓存中删除一个内存页.

进程读文件的方式有3种:

(1)调用内核提供的 读文件的系统调用 .

(2)调用glibc库封装的读文件的 标准I/O流函数 .

(3)创建基于文件的内存映射,把 文件的一个区间映射到进程的虚拟地址空间,然后直接读内存 .

第2种方式在用户空间创建了缓冲区,能减少系统调用的次数,提高性能.第3种方式可以避免系统调用,性能最高.

读文件的主要步骤如下:

(1)调用具体文件系统类型提供的文件 *** 作集合的read和read_iter方法来读文件.

(2) read或read_iter方法根据页索引在文件的页缓存中查找页,如果没有找到,那么调用具体文件系统类型提供的地址空间集合的readpage方法来从存储设备读取文件页到内存中 .

为了提高读文件的速度,从存储设备读取文件页到内存中的时候,除了读取请求的文件页,还会预读后面的文件页.如果进程按顺序读文件,预读文件页可以提高读文件的速度如果进程随机读文件,预读文件页对提高读文件的速度帮助不大.

进程写文件的方式有3种:

(1)调用内核提供的 写文件的系统调用 .

(2)调用glibc库封装的写文件的 标准I/O流函数 .

(3)创建基于文件的内存映射,把 文件的一个区间映射到进程的虚拟空间,然后直接写内存 .

第2种方式在用户空间创建了缓冲区,能够减少系统调用的次数,提高性能.第3种方式可以避免系统调用,性能最高.

写文件的主要步骤如下:

(1)调用具体文件系统类型提供的文件 *** 作集合的write或write_iter方法来写文件.

(2)write或write_iter方法调用文件的地址空间 *** 作集合的 write_begin 方法, 在页缓存查找页,如果页不存在就分配页然后把数据从用户缓冲区复制到页缓存的页中 最后调用文件的地址空间 *** 作集合的 write_end 方法.

进程写文件时,内核的文件系统模块把数据写到文件的页缓存,没有立即写回到存储设备.文件系统模块会定期把脏页写回到存储设备,进程也可以调用系统调用把脏页强制写回到存储设备.

管理员可以执行命令"sync",把内存中所有修改过的文件元数据和文件数据写回到存储设备.

内核提供了 sync , syncfs , fsync , fdatasync , sync_file_range 等系统调用用于文件写回.

把文件写回到存储设备的时机如下:

(1)周期回写.

(2)当脏页的数量达到限制的时候,强制回写.

(3)进程调用sync和syncfs等系统调用.

对于类似内存的块设备,例如NVDIMM设备,不需要把文件从存储设备复制到页缓存.DAX绕过页缓存,直接访问存储设备,对于基于文件的内存映射,直接把存储设备映射到进程的虚拟地址空间.

调用系统调用mmap创建基于文件的内存映射,把文件的一个区间映射到进程的虚拟地址空间,这会调用具体文件系统类型提供的文件 *** 作集合的mmap方法.mmap方法针对设置了标志位S_DAX的索引节点,处理方法如下:

(1)给虚拟内存区域设置标志位VM_MIXEDMAP和VM_HUGEPAGE.

(2)设置虚拟内存 *** 作集合,提供fault,huge_fault,page_mkwrite和pfn_mkwrite方法.

-1。linux文件编程中的write函数，当写入失败时返回值为-1。Linux是一种自由和开放源代码的类UNIX *** 作系统。该 *** 作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。

---