Linux异步IO

Linux中最常用的IO模型是同步IO，在这个模型中，当请求发出之后，应用程序就会阻塞，直到请求满足条件为止。这是一种很好的解决方案，调用应用程序在等待IO完成的时候不需要占用CPU，但是在很多场景中，IO请求可能需要和CPU消耗交叠，以充分利用CPU和IO提高吞吐率。

下图描绘了异步IO的时序，应用程序发起IO *** 作后，直接开始执行，并不等待IO结束，它要么过一段时间来查询之前的IO请求完成情况，要么IO请求完成了会自动被调用与IO完成绑定的回调函数。

Linux的AIO有多种实现，其中一种实现是在用户空间的glibc库中实现的，本质上是借用了多线程模型，用开启的新的线程以同步的方式做IO，新的AIO辅助线程与发起AIO的线程以pthread_cond_signal()的形式进行线程间的同步，glibc的AIO主要包含以下函数：

1、aio_read()

aio_read()函数请求对一个有效的文件描述符进行异步读 *** 作。这个文件描述符可以代表一个文件、套接字，甚至管道，aio_read()函数原型如下：

aio_read（）函数在请求进行排队之后就会立即返回（尽管读 *** 作并未完成），如果执行成功就返回0，如果出现错误就返回-1。参数aiocb（AIO I/O Control Block）结构体包含了传输的所有信息，以及为AIO *** 作准备的用户空间缓冲区。在产生IO完成通知时，aiocb结构就被用来唯一标识所完成的IO *** 作。

2.aio_write()

aio_write()函数用来请求一个异步写 *** 作。函数原型如下：

aio_write（）函数会立即返回，并且它的请求以及被排队（成功时返回值为0，失败时返回值为-1）

3.aio_error()

aio_error()函数被用来确定请求的状态，其原型如下：

该函数的返回：

4.aio_return()

异步IO和同步阻塞IO方式之间有一个区别就是不能立即访问函数的返回状态，因为异步IO没有阻塞在read()调用上。在标准的同步阻塞read()调用中，返回状态是在该函数返回时提供的。

但是在异步IO中，我们要用aio_return()函数，原型如下：

只有在aio_error()调用确定请求已经完成（可能成功、也可能发生了错误）之后，才会调用这个函数，aio_return()的返回值就等价于同步情况中read()或者write系统调用的返回值。

5.aio_suspend()

用户可以用该函数阻塞调用进程，直到异步请求完成为止，调用者提供了一个aiocb引用列表，其中任何一个完成都会导致aio_suspend()返回。函数原型如下：

6.aio_cancel()

该函数允许用户取消对某个文件描述符执行的一个或所以IO请求。

要取消一个请求，用户需要提供文件描述符和aiocb指针，如果这个请求被成功取消了，那么这个函数就会返回AIO_CANCELED。如果请求完成了，就会返回AIO_NOTCANCELED。

7.lio_listio()

lio_listio()函数可用于同时发起多个传输。这个函数非常重要，它使得用户可以在一个系统调用中启动大量的IO *** 作，原型如下：

mode参数可以是LIO_WAIT或者是LIO_NOWAIT。LIO_WAIT会阻塞这个调用，直到所有的IO都返回为止，若是LIO_NOWAIT模型，在IO *** 作完成排队之后，该函数就会返回。list是一个aiocb的列表，最大元素的个数是由nent定义的。如果list的元素为null，lio_listio（）会将其忽略。

Rsync

非常适合在两台机器之间快速同步大型、复杂的目录，例如论坛的附件目录。再配合

ssh

，则安全性也有保证，且可以利用

ssh

public

key

和

cron

来进行自动定时同步。

说明：两台机器分别为

localhost

和

remotehost

用户分别为

localuser

和

remoteuser。

环境：FreeBSD

4.9

和

FreeBSD

6.1

代码如下

设置

ssh

public

key

认证

$ssh-keygen

-t

dsa

-b

2048

生成所需的密钥

$scp

/home/localuser/.ssh/id_dsa.pub

remoteuser@remotehost:/home/remoteuser/.ssh/localuser_id_dsa.pub

将公钥拷贝至

remotehost

$ssh

remoteuser@remotehost

登录到?端

代码如下

$cd

.ssh/

cat

localuser_id_dsa.pub

>>

authorized_keys

至此，设置

ssh

认证完毕。

设置

rsync

确认两端机器都安装

rsync

，

freeBSD

有

ports

，安装非常方便。

写个脚本名为

backup.sh

，内容如下：

代码如下

#!/bin/sh

RSYNC=/usr/local/bin/rsync

SSH=/usr/bin/ssh

KEY=/home/localuser/.ssh

/id_rsa

RUSER=remoteuser

RHOST=remotehost

RPATH=/remote/dir

LPATH=/this/dir

$RSYNC

-az—delte

-e

“$SSH

-i

$KEY”

$RUSER@$RHOST:$RPATH

$LPATH

-a

选项相当于选项

-rlptgoD

。简单来讲，此选项可递归并将几乎所有的东西同步过去，非常有用。注意的是，

-a

默认不会保存

hardlinks

，不过可以单独用

-H

选项来实现。

-z

选项在传输中压缩文件，这无疑加快同步速度。

-delete

选项会删除接受方一些不应存在的文件，此文件在发送方已经被删除，这将保持目录完全同步。

让

cron

每天凌晨1点来跑这个脚本

代码如下

$crontab

-e

0

1

*

*

*

/home/localuser/bin/backup.sh

友情提示

rsync是没有自动启动同步功能了，如果我们要定时去备份一个网站数据我们就需要用到定时功能了，上面的例子来使用到了linux中$crontab命令来定时执行备份数据脚本了哦。

同步就是使得两个或者多个进程之间的行为按照一定的时序来执行。比如说线程A完成了某件事，然后线程B才能做某件事。具体一点，就是，线程间的某个动作执行前需要确认一个或者多个其他线程的当前状态。而异步则是多个线程各跑各的，互不干涉。

Linux下的多线程实现由pthread库提供，头文件为pthread.h。多线程最重要的就是要保护好共享资源（用互斥体，mutex)，尤其是异步。代码哥哥就不上了，这里关键的不是代码的问题，也不是Linux、Windows的问题，重要的是概念的理解。哥们不妨先研究研究“生产者-消费者”这个常出现在教科书上的模型，这是一个典型的同步问题。就讲这么多了，拜拜。

---