深究标准IO的缓存

　　以fgetc / fputc 为例,当用户程序第一次调用fgetc 读一个字节时,fgetc 函数可能通过系统调用 进入内核读1K字节到I/O缓冲区中,然后返回I/O缓冲区中的第一个字节给用户,把读写位置指 向I/O缓冲区中的第二个字符,以后用户再调fgetc,就直接从I/O缓冲区中读取,而不需要进内核 了,当用户把这1K字节都读完之后,再次调用fgetc 时,fgetc 函数会再次进入内核读1K字节 到I/O缓冲区中。@H_404_4@在这个场景中用户程序、C标准库和内核之间的关系就像在“Memory HIErarchy”中 cpu、Cache和内存之间的关系一样,C标准库之所以会从内核预读一些数据放 在I/O缓冲区中,是希望用户程序随后要用到这些数据,C标准库的I/O缓冲区也在用户空间,直接 从用户空间读取数据比进内核读数据要快得多。另一方面,用户程序调用fputc 通常只是写到I/O缓 冲区中,这样fputc 函数可以很快地返回,如果I/O缓冲区写满了,fputc 就通过系统调用把I/O缓冲 区中的数据传给内核,内核最终把数据写回磁盘或设备。有时候用户程序希望把I/O缓冲区中的数据立刻 传给内核,让内核写回设备或磁盘,这称为Flush *** 作,对应的库函数是fflush,fclose函数在关闭文件 之前也会做Flush *** 作。

　　虽然write 系统调用位于C标准库I/O缓冲区的底 层,被称为Unbuffered I/O函数,但在write 的底层也可以分配一个内核I/O缓冲区@H_404_4@,所以write 也不一定是直接写到文件的,也 可能写到内核I/O缓冲区中,可以使用fsync函数同步至磁盘文件，至于究竟写到了文件中还是内核缓冲区中对于进程来说是没有差别 的,如果进程A和进程B打开同一文件,进程A写到内核I/O缓冲区中的数据从进程B也能读到,因为内核空间是进程共享的,而c标准库的I/O缓冲区则不具有这一特性,因为进程的用户空间是完全独立的.

#include <stdlib.h>#include @H_404_4@<stdio.h>#include @H_404_4@<sys/types.h>#include @H_404_4@<sys/stat.h>#include @H_404_4@<fcntl.h>int@H_404_4@ main(voID@H_404_4@){  @H_404_4@char@H_404_4@ buf[5@H_404_4@];  file @H_404_4@*myfile = stdin;  fgets(buf,@H_404_4@,myfile);  fputs(buf,myfile);    @H_404_4@return@H_404_4@ 0@H_404_4@;}@H_404_4@

　　buffered I/O中的"buffer"到底是指什么呢?这个buffer在什么地方呢?file是什么呢?它的空间是怎么分配的呢　　要弄清楚这些问题,就要看看file是如何定义和运作的了.(特别说明,在平时写程序时,不用也不要关心file是如何定义和运作的,最好不要直接 *** 作它,这里使用它,只是为了说明buffered IO)下面的这个是glibc给出的file的定义,它是实现相关的,别的平台定义方式不同.

struct@H_404_4@ _IO_file {@H_404_4@int@H_404_4@ _flags;@H_404_4@#define@H_404_4@ _IO_file_flags _flagschar@H_404_4@* _IO_read_ptr;@H_404_4@ _IO_read_end;@H_404_4@ _IO_read_base;@H_404_4@ _IO_write_base;@H_404_4@ _IO_write_ptr;@H_404_4@ _IO_write_end;@H_404_4@ _IO_buf_base;@H_404_4@ _IO_buf_end;@H_404_4@char@H_404_4@ *_IO_save_base;@H_404_4@_IO_backup_base;@H_404_4@_IO_save_end;@H_404_4@struct@H_404_4@ _IO_marker *_markers;@H_404_4@struct@H_404_4@ _IO_file *_chain;@H_404_4@ _fileno;};@H_404_4@

　　上面的定义中有三组重要的字段:

1@H_404_4@.@H_404_4@ _IO_read_base;@H_404_4@2@H_404_4@ _IO_write_end;@H_404_4@3@H_404_4@char@H_404_4@* _IO_buf_end;

#include <stdlib.h>stdin;  printf(@H_404_4@"@H_404_4@before reading/n@H_404_4@"@H_404_4@);  printf(@H_404_4@read buffer base %p/n@H_404_4@"@H_404_4@,myfile->_IO_read_base);  printf(@H_404_4@read buffer length %d/n@H_404_4@write buffer base %p/n@H_404_4@_IO_write_base);  printf(@H_404_4@write buffer length %d/n@H_404_4@buf buffer base %p/n@H_404_4@_IO_buf_base);  printf(@H_404_4@buf buffer length %d/n@H_404_4@/n@H_404_4@);  fgets(buf,myfile);  printf(@H_404_4@after reading/n@H_404_4@_IO_buf_base);  @H_404_4@;}@H_404_4@

#include <stdlib.h>];  @H_404_4@cur;  file @H_404_4@*myfile;  myfile @H_404_4@= fopen(bbb.txt@H_404_4@r@H_404_4@before reading,myfile->_IO_read_ptr: %d/n@H_404_4@_IO_read_base);  fgets(buf,1)">5@H_404_4@,myfile); //@H_404_4@仅仅读4个字符@H_404_4@  cur = myfile->_IO_read_base;  @H_404_4@while@H_404_4@ (cur <</span> myfile->_IO_read_end) 实际上读满了这个缓冲区@H_404_4@  {    printf(@H_404_4@%c@H_404_4@cur);    cur@H_404_4@++;  }  printf(@H_404_4@/nafter reading,1)">_IO_read_base);  @H_404_4@;}@H_404_4@

#include <stdlib.h>2048@H_404_4@]={};  @H_404_4@ i;  file @H_404_4@*aaa.txt@H_404_4@r+@H_404_4@);  i@H_404_4@= ;  @H_404_4@while@H_404_4@ (i<</span>2048@H_404_4@)  {    fwrite(buf@H_404_4@+i,1)">1@H_404_4@,1)">512@H_404_4@;    @H_404_4@注释掉这句则可以写入aaa.txt@H_404_4@    myfile->_IO_write_ptr = myfile->_IO_write_base;    printf(@H_404_4@%p write buffer base/n@H_404_4@_IO_write_base);    printf(@H_404_4@%p buf buffer base /n@H_404_4@_IO_buf_base);    printf(@H_404_4@%p read buffer base /n@H_404_4@_IO_read_base);    printf(@H_404_4@%p write buffer ptr /n@H_404_4@_IO_write_ptr);    printf(@H_404_4@);  }  @H_404_4@;}@H_404_4@

#include <stdlib.h>#include @H_404_4@<stdio.h>char@H_404_4@ buf2[10@H_404_4@];    fgets(buf,stdin); 第一次输入时,超过5个字符@H_404_4@  puts(stdin@H_404_4@->_IO_read_ptr);本句说明整行会被一次全部读入缓冲区,@H_404_4@而非仅仅上面需要的个字符@H_404_4@  stdin->_IO_read_ptr = stdin->_IO_read_end; 标准I/O会认为缓冲区已空,再次调用read                                             @H_404_4@注释掉,再看看效果@H_404_4@  printf();  puts(buf);    fgets(buf2,stdin);  puts(buf2);    @H_404_4@;}@H_404_4@

#include <stdlib.h>5@H_404_4@]={'@H_404_4@1@H_404_4@'@H_404_4@,1)">2@H_404_4@3@H_404_4@4@H_404_4@5@H_404_4@'@H_404_4@}; 最后一个不要是/n,是/n的话,标准I/O会自动flush的                                                    @H_404_4@这是行缓冲跟全缓冲的重要区别@H_404_4@voID@H_404_4@ writeLog(file *ftmp){  fprintf(ftmp,stdout->_IO_write_base);  fprintf(ftmp,1)">_IO_buf_base);  fprintf(ftmp,1)">_IO_read_base);  fprintf(ftmp,1)">_IO_write_ptr);  fprintf(ftmp,1)">);}@H_404_4@ftmp;  ftmp @H_404_4@= fopen(ccc.txt@H_404_4@w@H_404_4@4@H_404_4@)  {    fwrite(buf,stdout);    i@H_404_4@++;    @H_404_4@*stdout->_IO_write_ptr++ = '@H_404_4@;可以单独把这句打开,看看效果    @H_404_4@getchar();@H_404_4@getchar()会标准I/O将缓冲区输出    @H_404_4@打开下面的注释,你就会发现屏幕上什么输出也没有    @H_404_4@stdout->_IO_write_ptr = stdout->_IO_write_base;@H_404_4@    writeLog(ftmp); 这个只是为了查看缓冲区指针的变化  @H_404_4@  }  @H_404_4@;}@H_404_4@

#include <</span>stdlib.h>#include @H_404_4@<</span>stdio.h>#include @H_404_4@<</span>sys/types.h>#include @H_404_4@<</span>sys/stat.h>#include @H_404_4@<</span>fcntl.h>){  fputs(@H_404_4@stderr@H_404_4@%d/n@H_404_4@;}@H_404_4@

#include <stdlib.h>];  fgets(buf,1)">sizeof@H_404_4@(buf),stdin);输入要于4个,少于13个字符才能看出效果@H_404_4@  puts(buf);  @H_404_4@交替注释下面两行  @H_404_4@stdin->_IO_read_end = stdin->_IO_read_ptr+1;@H_404_4@  stdin@H_404_4@->_IO_read_end = stdin->_IO_read_ptr + sizeof@H_404_4@(buf2)-;     fgets(buf2,1)">sizeof@H_404_4@(buf2),stdin);  puts(buf2);  @H_404_4@if@H_404_4@ (feof(stdin))    printf(@H_404_4@input end/n@H_404_4@);  @H_404_4@;}@H_404_4@