“零拷贝”指的是:不在内核态和用户态之间拷贝数据。
正常情况下,拷贝一个文件的步骤是:
通过 read() 读取文件:磁盘 -> 内核缓冲区 -> 用户缓冲区;通过 write() 写数据:用户缓冲区 -> 内核缓冲区 -> 磁盘。
可见,数据在用户态缓冲区和内核态缓冲区之间来回拷贝了两次。
使用零拷贝技术之后,数据流方向为:磁盘 -> 内核缓冲区 -> 磁盘。
#define _GNU_SOURCE #includessize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);
在两个文件描述符之间拷贝数据,但不会在内核态和用户态之间来回拷贝数据。成功时返回写到管道或从管道读取的字节数,失败时返回 -1 ,并设置 errno 。从 fd_in 读取数据,写到 fd_out 中,且最多只传送 len 个字节。fd_in 和 fd_out 中必须有一个是管道描述符。如果 fd_in 指向管道,则 off_in 必须为 NULL 。如果 fd_in 不指向管道,但 off_in 为 NULL ,则会从当前文件偏移量开始读取数据,并相应地修改文件偏移量。如果 fd_in 不指向管道,且 off_in 不为 NULL ,则会从文件偏移量 *off_in 处开始读取数据,会相应地修改 off_in ,但不会修改原来的文件偏移量。fd_out 和 off_out 情况类似。flags 常用值:SPLICE_F_MORE (提示后续会有更多的数据到来);SPLICE_F_NONBLOCK (在读写管道时不要阻塞);SPLICE_F_MOVE (如果可以的话,移动页而不是拷贝页)。在实现上,并没有将数据从输入缓冲区(内核态)拷贝到输出缓冲区(内核态),而是输入缓冲区的指针和输出缓冲区的指针指向同一个内存页。此外,len 的大小实际上受限于管道的容量(可以通过 man 7 pipe 来查看),一般是 16 个内存页(页大小可以通过 getconf PAGE_SIZE 来查看,一般是 4096 字节),故,len 的最大值一般为 65536 字节。splice 的使用方法是:
创建两个文件描述符:fdIn 用于输入,fdOut 用于输出;创建一个管道:pipeFds ;调用一次 splice :从 fdIn 读数据,并写入管道 pipeFds[1] ;再调用一次 splice :从管道 piepFds[0] 读数据,并写到 fdOut 。
#define _GNU_SOURCE #include#include #include #include int main(int argc, char* argv[]) { if (argc != 3) { printf("Usage: %s in-file, out-filen", argv[0]); exit(EXIT_FAILURE); } int fdIn = open(argv[1], O_RDONLY); int fdOut = open(argv[2], O_WRONLY|O_CREAT, 0644); int pipeFds[2]; pipe(pipeFds); size_t len = 65536; unsigned int flags = SPLICE_F_MOVE; ssize_t nRead; do { nRead = splice(fdIn, NULL, pipeFds[1], NULL, len, flags); splice(pipeFds[0], NULL, fdOut, NULL, nRead, flags); } while (nRead > 0); close(fdIn); close(fdOut); close(pipeFds[0]); close(pipeFds[1]); return 0; }
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)