Linux异步IO

Linux中最常用的IO模型是同步IO，在这个模型中，当请求发出之后，应用程序就会阻塞，直到请求满足条件为止。这是一种很好的解决方案，调用应用程序在等待IO完成的时候不需要占用CPU，但是在很多场景中，IO请求可能需要和CPU消耗交叠，以充分利用CPU和IO提高吞吐率。

下图描绘了异步IO的时序，应用程序发起IO *** 作后，直接开始执行，并不等待IO结束，它要么过一段时间来查询之前的IO请求完成情况，要么IO请求完成了会自动被调用与IO完成绑定的回调函数。

Linux的AIO有多种实现，其中一种实现是在用户空间的glibc库中实现的，本质上是借用了多线程模型，用开启的新的线程以同步的方式做IO，新的AIO辅助线程与发起AIO的线程以pthread_cond_signal()的形式进行线程间的同步，glibc的AIO主要包含以下函数：

1、aio_read()

aio_read()函数请求对一个有效的文件描述符进行异步读 *** 作。这个文件描述符可以代表一个文件、套接字，甚至管道，aio_read()函数原型如下：

aio_read（）函数在请求进行排队之后就会立即返回（尽管读 *** 作并未完成），如果执行成功就返回0，如果出现错误就返回-1。参数aiocb（AIO I/O Control Block）结构体包含了传输的所有信息，以及为AIO *** 作准备的用户空间缓冲区。在产生IO完成通知时，aiocb结构就被用来唯一标识所完成的IO *** 作。

2.aio_write()

aio_write()函数用来请求一个异步写 *** 作。函数原型如下：

aio_write（）函数会立即返回，并且它的请求以及被排队（成功时返回值为0，失败时返回值为-1）

3.aio_error()

aio_error()函数被用来确定请求的状态，其原型如下：

该函数的返回：

4.aio_return()

异步IO和同步阻塞IO方式之间有一个区别就是不能立即访问函数的返回状态，因为异步IO没有阻塞在read()调用上。在标准的同步阻塞read()调用中，返回状态是在该函数返回时提供的。

但是在异步IO中，我们要用aio_return()函数，原型如下：

只有在aio_error()调用确定请求已经完成（可能成功、也可能发生了错误）之后，才会调用这个函数，aio_return()的返回值就等价于同步情况中read()或者write系统调用的返回值。

5.aio_suspend()

用户可以用该函数阻塞调用进程，直到异步请求完成为止，调用者提供了一个aiocb引用列表，其中任何一个完成都会导致aio_suspend()返回。函数原型如下：

6.aio_cancel()

该函数允许用户取消对某个文件描述符执行的一个或所以IO请求。

要取消一个请求，用户需要提供文件描述符和aiocb指针，如果这个请求被成功取消了，那么这个函数就会返回AIO_CANCELED。如果请求完成了，就会返回AIO_NOTCANCELED。

7.lio_listio()

lio_listio()函数可用于同时发起多个传输。这个函数非常重要，它使得用户可以在一个系统调用中启动大量的IO *** 作，原型如下：

mode参数可以是LIO_WAIT或者是LIO_NOWAIT。LIO_WAIT会阻塞这个调用，直到所有的IO都返回为止，若是LIO_NOWAIT模型，在IO *** 作完成排队之后，该函数就会返回。list是一个aiocb的列表，最大元素的个数是由nent定义的。如果list的元素为null，lio_listio（）会将其忽略。

在apache，nginx，lighttpd等web服务器当中，都有一项sendfile相关的配置，在一些网上的资料都有谈到sendfile会提升文件传输性能，那sendfile到底是什么呢？它的原理又是如何呢？

在传统的文件传输里面（read/write方式），在实现上其实是比较复杂的，需要经过多次上下文的切换，我们看一下如下两行代码：

read(file, tmp_buf, len)

write(socket, tmp_buf, len)

以上两行代码是传统的read/write方式进行文件到socket的传输。

当需要对一个文件进行传输的时候，其具体流程细节如下：

1、调用read函数，文件数据被copy到内核缓冲区

2、read函数返回，文件数据从内核缓冲区copy到用户缓冲区

3、write函数调用，将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。

4、数据从socket缓冲区copy到相关协议引擎。

一般来说一个网络应用是通过读硬盘数据，然后写数据到 socket 来完成网络传输的。上面2行用代码解释了这一点，不过上面2行简单的代码掩盖了底层的很多 *** 作。来看看底层是怎么执行上面2行代码的：

1、系统调用 read() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后 DMA 执行拷贝，把文件数据从硬盘读到一个 kernel buffer 里。

2、数据从 kernel buffer 拷贝到 user buffer，然后系统调用 read() 返回，这时又产生一个上下文切换：从kernel mode 切换到 user mode。

3、系统调用 write() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后把步骤2读到 user buffer 的数据拷贝到 kernel buffer（数据第2次拷贝到 kernel buffer），不过这次是个不同的 kernel buffer，这个 buffer 和 socket 相关联。

4、系统调用 write() 返回，产生一个上下文切换：从 kernel mode 切换到 user mode（第4次切换了），然后 DMA 从 kernel buffer 拷贝数据到协议栈（第4次拷贝了）。

上面4个步骤有4次上下文切换，有4次拷贝，我们发现如果能减少切换次数和拷贝次数将会有效提升性能。在kernel 2.0+ 版本中，系统调用 sendfile() 就是用来简化上面步骤提升性能的。sendfile() 不但能减少切换次数而且还能减少拷贝次数。

---