linux中block IO,no-block IO,异步IO,IO多路复用笔记

linux中block IO,no-block IO,异步IO,IO多路复用笔记,第1张

        现在 *** 作系统都是采用虚拟存储器,那么对32位 *** 作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方)。 *** 作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限。 为了保证用户进程不能直接 *** 作内核(kernel),保证内核的安全, *** 心系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空间 。针对linux *** 作系统而言, 将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF) ,供内核使用,称为内核空间, 而将较低的3G字节(从虚拟地址0x00000000到0xBFFFFFFF),供各个进程使用,称为用户空间。

        文件描述符(File descriptor)是计算机科学中的一个术语,是一个用于表述 指向文件的引用的抽象化概念 。文件描述符在形式上是一个非负整数。 实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表 。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的 *** 作系统。

       刚才说了,对于一次IO访问(以read举例),数据会先被拷贝到 *** 作系统内核的缓冲区中,然后才会从 *** 作系统内核的缓冲区拷贝到应用程序的地址空间。所以说,当一个read *** 作发生时,它会经历两个阶段:

1、等待数据准备 (Waiting for the data to be ready)

2、将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)

正式因为这两个阶段,linux系统产生了下面 五种网络模式 的方案。

阻塞 I/O(blocking IO)

非阻塞 I/O(nonblocking IO)

I/O 多路复用( IO multiplexing)

异步 I/O(asynchronous IO)

信号驱动 I/O( signal driven IO)

注:由于signal driven IO在实际中并不常用,所以我这只提及剩下的四种IO Model。

阻塞 I/O(blocking IO)

在linux中,默认情况下所有的socket都是blocking,一个典型的读 *** 作流程大概是这样:

        当用户进程调用了recvfrom这个系统调用,kernel就开始了IO的第一个阶段:准备数据(对于网络IO来说,很多时候数据在一开始还没有到达。比如,还没有收到一个完整的UDP包。这个时候kernel就要等待足够的数据到来)。这个过程需要等待,也就是说数据被拷贝到 *** 作系统内核的缓冲区中是需要一个过程的。而在用户进程这边,整个进程会被阻塞(当然,是进程自己选择的阻塞)。当kernel一直等到数据准备好了,它就会将数据从kernel中拷贝到用户内存,然后kernel返回结果,用户进程才解除block的状态,重新运行起来。

所以,blocking IO的特点就是在IO执行的两个阶段都被block了(内核阻塞读取数据,内核将数据复制到应用户态)。

非阻塞 I/O(nonblocking IO)

linux下,可以通过设置socket使其变为non-blocking。当对一个non-blocking socket执行读 *** 作时,流程是这个样子:

       当用户进程发出read *** 作时,如果kernel中的数据还没有准备好,那么它并不会block用户进程,而是立刻返回一个error。从用户进程角度讲 ,它发起一个read *** 作后,并不需要等待,而是马上就得到了一个结果。用户进程判断结果是一个error时,它就知道数据还没有准备好,于是它可以再次发送read *** 作。一旦kernel中的数据准备好了,并且又再次收到了用户进程的system call,那么它马上就将数据拷贝到了用户内存,然后返回。

所以,nonblocking IO的特点是用户进程需要 不断的主动询问 kernel数据好了没有( 内核读取数据时,用户态不需要阻塞,内核将数据复制到用户态时,需要阻塞 )。

I/O 多路复用( IO multiplexing)

         IO multiplexing就是我们说的select,poll,epoll,有些地方也称这种IO方式为event driven IO。select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。它的基本原理就是 select,poll,epoll这个function会不断的轮询所负责的所有socket ,当某个socket有数据到达了,就通知用户进程。

        当用户 进程调用了select , 那么整个进程会被block ,而同时,kernel会“监视”所有 select负责的socket(一个管理多个socket连接),当任何一个socket中的数据准备好了,select就会返回 。这个时候用户进程再调用read *** 作, 将数据从kernel拷贝到用户进程 。

所以,I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪状态,select()函数就可以返回。

这个图和blocking IO的图其实并没有太大的不同,事实上,还更差一些。 因为这里需要使用两个system call (select 和 recvfrom),而blocking IO只调用了一个system call (recvfrom) 。但是,用select的优势在于它可以同时处理多个connection。

所以,如果处理的 连接数不是很高的话,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好,可能延迟还更大 。select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。)

在IO multiplexing Model中,实际中,对于每一个socket,一般都设置成为non-blocking,但是,如上图所示,整个用户的process其实是一直被block的。只不过process是被select这个函数block,而不是被socket IO给block。

总结:IO多路复用其实也是阻塞的,阻塞的地方在用当有socket连接有数据以后, 会阻塞知道数据从内核复制到用户态(第二步阻塞)。

异步 I/O(asynchronous IO)

inux下的asynchronous IO其实用得很少。先看一下它的流程:

        用户进程发起read *** 作之后,立刻就可以开始去做其它的事。而另一方面,从kernel的角度,当它受到一个asynchronous read之后,首先它会立刻返回,所以不会对用户进程产生任何block。然后,kernel会等待数据准备完成,然后将数据拷贝到用户内存,当这一切都完成之后,kernel会给用户进程发送一个signal,告诉它read *** 作完成了。

总结:两个阶段都不需要用户进程干涉,内核将数据准备好以后通知用户态去读取

总结

blocking和non-blocking的区别

调用blocking IO会一直block住对应的进程直到 *** 作完成,而non-blocking IO在kernel还准备数据的情况下会立刻返回。

synchronous IO和asynchronous IO的区别

在说明synchronous IO和asynchronous IO的区别之前,需要先给出两者的定义。POSIX的定义是这样子的:

- A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes

- An asynchronous I/O operation does not cause the requesting process to be blocked

两者的区别就在于synchronous IO做”IO operation”的时候会将process阻塞。按照这个定义,之前所述的 blocking IO,non-blocking IO,IO multiplexing都属于synchronous IO 。

       有人会说,non-blocking IO并没有被block啊。这里有个非常“狡猾”的地方,定义中所指的”IO operation”是指真实的IO *** 作,就是例子中的recvfrom这个system call。non-blocking IO在执行recvfrom这个system call的时候,如果kernel的数据没有准备好,这时候不会block进程。但是, 当kernel中数据准备好的时候,recvfrom会将数据从kernel拷贝到用户内存中,这个时候进程是被block了,在这段时间内,进程是被block的。

而asynchronous IO则不一样,当进程发起IO *** 作之后,就直接返回再也不理睬了,直到kernel发送一个信号,告诉进程说IO完成。在这整个过程中,进程完全没有被block。

通过一个系统调用,获取多个IO状态,叫多路复用器。在Linux下多路复用器都是同步模型。( 只要程序自己读写IO,那么IO模型就是同步的

系统调用

其实无论NIO SELECT POLL都需要遍历所有的IO询问状态,只不过:

现象调用过程

系统调用过程

优势:

这个红黑树观察的文件描述符是有限的,属性max_user_watch

场景:服务端接收到客户端数据,写回给客户端

解决重复调用办法:在调用readHandler()和writeHandler()前加入key.cancle(epoll_ctl(del))

linux网络编程的I/O 多路复用。select()函数是系统提供的,它可以在多个描

述符中选择被激活的描述符进行 *** 作。

例如:一个进程中有多个客户连接,即存在多个TCP 套接字描述符。select()函数阻塞

直到任何一个描述符被激活,即有数据传输。从而避免了进程为等待一个已连接上的数据而

无法处理其他连接。因而,这是一个时分复用的方法,从用户角度而言,它实现了一个进程

或线程中的并发处理。

I/O 多路复用技术的最大优势是系统开销小,系统不必创建进程、线程,也不必维护这

些进程/线程,从而大大减少了系统的开销。

select()函数用于实现I/O 多路复用,它允许进程指示系统内核等待多个事件中的任何一

个发生,并仅在一个或多个事情发送或经过某指定的时间后才唤醒进程。

它的原型如下,

#include<sys/time.h>

int select(int nfds, fd_set *readfds, fd_set *writefds,fd_set * errorfds, struct timeval *timeout)

ndfs: select() 函数监视描述符数的最大值。根据进程中打开的描述符数而定,一般设为要

监视的描述符的最大数加1。

readfds: select() 函数监视的可读描述符集合。

writefds: select()函数监视的可写描述符集合。

errorfds: select()函数监视的异常描述符集合。

timeout: select()函数超时结束时间

返回值。如果成功返回总的位数,这些位对应已准备好的描述符。否则返回-1,并在errno

中设置相应的错误码。

FD_ZERO(fd_set *fdset):清空fdset 与所有描述符的联系

FD_SET(int fd, fd_set *fdset):建立描述符fd 与fdset 的联系

FD_CLR(int fd, fd_set *fdset):撤销描述符fd 与fdset 的联系

FD_ISSET(int fd,fd_set *fdset) ::检查与fdset 联系的描述符fd 是否可读写,返回非0表示可读写。

采用select()函数实现I/O 多路复用的基本步骤如下:

(1) 清空描述符集合

(2) 建立需要监视的描述符与描述符集合的联系

(3) 调用select()函数

(4) 检查所有需要监视的描述符,利用FD_ISSET 判断是否准备好

(5) 对已准备好的描述符进行I/O *** 作


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/8645870.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-19
下一篇 2023-04-19

发表评论

登录后才能评论

评论列表(0条)

保存