乱七八糟风暴收藏

Linux I/O多路复用

2018-01-15  本文已影响25人  暖夏未眠丶

摘要: Linux I/O多路复用 select poll epoll

Linux中一切皆文件,不论是我们存储在磁盘上的字符文件,可执行文件还是我们的接入电脑的I/O设备等都被VFS抽象成了文件,比如标准输入设备默认是键盘,我们在操作标准输入设备的时候,其实操作的是默认打开的一个文件描述符是0的文件,而一切软件操作硬件都需要通过OS,而OS操作一切硬件都需要相应的驱动程序,这个驱动程序里配置了这个硬件的相应配置和使用方法。Linux的I/O分为阻塞I/O,非阻塞I/O,I/O多路复用,信号驱动I/O四种。对于I/O设备的驱动,一般都会提供关于阻塞非阻塞两种配置。我们最常见的I/O设备之一--键盘(标准输入设备)的驱动程序默认是阻塞的。

多路复用就是为了使进程能够从多个阻塞I/O中获得自己想要的数据并继续执行接下来的任务。其主要的思路就是同时监视多个文件描述符,如果有文件描述符的设定状态的被触发,就继续执行进程,如果没有任何一个文件描述符的设定状态被触发,进程进入sleep

多路复用的一个主要用途就是实现"I/O多路复用并发服务器",和多线程并发或者多进程并发相比,这种服务器的系统开销更低,更适合做web服务器,但是由于其并没有实现真正的多任务,所以当压力大的时候,部分用户的请求响应会较慢

阻塞I/O

阻塞I/O,就是当进程试图访问这个I/O设备而这个设备并没有准备好的时候,设备的驱动程序会通过内核让这个试图访问的进程进入sleep状态。阻塞I/O的一个好处就是可以大大的节约CPU时间,因为一旦一个进程试图访问一个没有准备好的阻塞I/O,就会进入sleep状态,而进入sleep状态的进程是不在内核的进程调度链表中,直到目标I/O准备好了将其唤醒并加入调度链表,这样就可以节约CPU时间。当然阻塞I/O也有其固有的缺点,如果进程试图访问一个阻塞I/O,但是否访问成功并不对接下来的任务有决定性影响,那么直接使其进入sleep状态显然会延误其任务的完成。

典型的默认阻塞IO有标准输入设备,socket设备,管道设备等,当我们使用gets(),scanf(),read()等操作请求这些IO时而IO并没有数据流入,就会造成进程的sleep。 进程会一直阻塞下去直到接收缓冲区中有数据可读,此时内核再去唤醒该进程,通过相应的函数从中获取数据。如果阻塞过程中对方发生故障,那么这个进程将会永远阻塞下去。

写操作时发生阻塞的情况要比读操作少,主要发生在要写入的缓冲区的大小小于要写入的数据量的情况下,这时写操作将不进行任何任何拷贝工作,将发生阻塞。一旦发送缓冲区内有足够的空间,内核将唤醒进程,将数据从用户缓冲区中拷贝到相应的发送数据缓冲区。udp不用等待确认,没有实际的发送缓冲区,所以udp协议中不存在发送缓冲区满的情况,在udp套接字上执行的写操作永远都不会阻塞

现假设一个进程希望通过三个管道中任意一个中读取数据并显示,伪代码如下

read(pipe_0,buf,sizeof(buf));      //sleepprint buf;read(pipe_1,buf,sizeof(buf));print buf;read(pipe_2,buf,sizeof(buf));print buf;

由于管道是阻塞I/O,所以如果pipe_0没有数据流入,进程就是在第一个read()处进入sleep状态而即使pipe_1和pipe_2有数据流入也不会被读取。

如果我们使用下述代码重新设置管道的阻塞属性,显然,如果三个管道都没有数据流入,那么进程就无法获得请求的数据而继续执行,倘若这些数据很重要(所以我们才要用阻塞I/O),那结果就会十分的糟糕,改为轮询却又大量的占据CPU时间。

int fl = fcntl(pipe_fd, F_GETFL);fcntl(pipe_fd, F_SETFL, fl | O_NONBLOCK);

如何让进程同时监视三个管道,其中一个有数据就继续执行而不会sleep,如果全部没有数据流入再sleep,就是多路复用技术需要解决的问题。

非阻塞I/O

非阻塞I/O就是当一个进程试图访问一个I/O设备的时候,无论是否从中获取了请求的数据都会返回并继续执行接下来的任务。,但非常适合请求是否成功对接下来的任务影响不大的I/O请求。但如果访问一个非阻塞I/O,但这个请求如果失败对进程接下来的任务有致命影响,最粗暴的就是使用while(1){read()}轮询。显然,这种方式会占用大量的CPU时间。对于非阻塞IO,除了直接返回,一个更重要的应用就是利用IO多路复用机制同时监视多个非阻塞IO。

select机制

select是一种非常"古老"的同步I/O接口,但是提供了一种很好的I/O多路复用的思路

模型

fd_set//创建fd_set对象,将来从中增减需要监视的fdFD_ZERO()//清空fd_set对象FD_SET()//将一个fd加入fd_set对象中  select()//监视fd_set对象中的文件描述符pselect()//先设定信号屏蔽,再监视FD_ISSET()//测试fd是否属于fd_set对象FD_CLR()//从fd_set对象中删除fd

Note:

select的第一个参数nfds是指集合中的最大的文件描述符+1,因为select会无差别遍历整个文件描述符表直到找到目标,而文件描述符是从0开始的,所以一共是集合中的最大的文件描述符+1次。

上一条导致了这种机制的低效,如果需要监视的文件描述符是0和100那么每一次都会遍历101次

select()每次返回都会修改fd_set,如果要循环select(),需要先对初始的fd_set进行备

例子_I/O多路复用并发服务器

关于server本身的编程模型,参见tcp/ip协议服务器模型udp/ip协议服务器模型这里仅是使用select实现伪并行的部分模型

#defineBUFSIZE 100#defineMAXNFD  1024intmain(){/***********服务器的listenfd已经准本好了**************/fd_set readfds;    fd_set writefds;    FD_ZERO(&readfds);    FD_ZERO(&writefds);    FD_SET(listenfd, &readfds);    fd_set temprfds = readfds;    fd_set tempwfds = writefds;intmaxfd = listenfd;intnready;charbuf[MAXNFD][BUFSIZE] = {0};while(1){        temprfds = readfds;        tempwfds = writefds;        nready = select(maxfd+1, &temprfds, &tempwfds,NULL,NULL)if(FD_ISSET(listenfd, &temprfds)){//如果监听到的是listenfd就进行acceptintsockfd = accept(listenfd, (structsockaddr*)&clientaddr, &len);//将新accept的scokfd加入监听集合,并保持maxfd为最大fdFD_SET(sockfd, &readfds);            maxfd = maxfd>sockfd?maxfd:sockfd;//如果意见检查了nready个fd,就没有必要再等了,直接下一个循环if(--nready==0)continue;        }intfd =0;//遍历文件描述符表,处理接收到的消息for(;fd<=maxfd; fd++){if(fd == listenfd)continue;if(FD_ISSET(fd, &temprfds)){intret = read(fd, buf[fd],sizeofbuf[0]);if(0== ret){//客户端链接已经断开close(fd);                    FD_CLR(fd, &readfds);if(maxfd==fd)                        --maxfd;continue;                }//将fd加入监听可写的集合FD_SET(fd, &writefds);              }//找到了接收消息的socket的fd,接下来将其加入到监视写的fd_set中//将在下一次while()循环开始监视if(FD_ISSET(fd, &tempwfds)){intret = write(fd, buf[fd],sizeofbuf[0]);printf("ret %d: %d\n", fd, ret);                FD_CLR(fd, &writefds);            }        }    }    close(listenfd);}

poll机制

poll是一种基于select的改良机制,其针对select的一些缺陷进行了重新设计,包括不需要备份fd_set等等,但是依然是遍历整个文件描述符表,效率较低

模型

structpollfd  fds//创建一个pollfd类型的数组fds[0].fd//向fds[0]中放入需要监视的fdfds[0].events//向fds[0]中放入需要监视的fd的触发事件POLLIN//I/O有输入POLLPRI//有紧急数据需要读取POLLOUT//I/O可写POLLRDHUP//流式套接字连接断开或套接字处于半关闭状态POLLERR//错误条件(仅针对输出)POLLHUP//挂起(仅针对输出)POLLNVAL//无效的请求:fd没有被打开(仅针对输出)

例子_I/O多路复用并发服务器

/* ... */intmain(){/* ... */structpollfd myfds[MAXNFD] = {0};    myfds[0].fd = listenfd;    myfds[0].events = POLLIN;intmaxnum =1;intnready;//准备二维数组buf,每个fd使用buf的一行,数据干扰charbuf[MAXNFD][BUFSIZE] = {0};while(1){//poll直接返回event被触发的fd的个数nready = poll(myfds, maxnum,-1)inti =0;for(;i

epoll

epoll在poll基础上实现的更为健壮的接口,它每次只会遍历我们关心的文件描述符,也是现在主流的web服务器使用的多路复用技术,epoll一大特色就是支持EPOLLET(边沿触发)和EPOLLLT (水平触发),前者表示如果读取之后缓冲区还有数据,那么只要读取结束,剩余的数据也会丢弃,而后者表示里面的数据不会丢弃,下次读的时候还在,默认是EPOLLLT

模型

epoll_create()//创建epoll对象structepoll_event//准备事件结构体和事件结构体数组event.eventsevent.data.fd ...epoll_ctl()//配置epoll对象epoll_wait()//监控epoll对象中的fd及其相应的event

例子_I/O多路复用并发服务器

/* ... */intmain(){/* ... *//* 创建epoll对象 */intepoll_fd = epoll_create(1024);//准备一个事件结构体structepoll_eventevent= {0};event.events = EPOLLIN;event.data.fd = listenfd;//data是一个共用体,除了fd还可以返回其他数据//ctl是监控listenfd是否有event被触发//如果发生了就把event通过wait带出。//所以,如果event里不标明fd,我们将来获取就不知道哪个fdepoll_ctl(epoll_fd, EPOLL_CTL_ADD, listenfd, &event);structepoll_event revents[MAXNFD] = {0};intnready;charbuf[MAXNFD][BUFSIZE] = {0};while(1){//wait返回等待的event发生的数目//并把相应的event放到event类型的数组中nready = epoll_wait(epoll_fd, revents, MAXNFD,-1)inti =0;for(;i

版权声明:本文内容由互联网用户自发贡献,版权归作者所有,本社区不拥有所有权,也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】中办国办印发《推进互联网协议第六版(IPv6)规模部署行动计划》加快推进基于 IPv6 的下一代互联网规模部署,计划指出2025年末中国 IPv6 规模要达到世界第一,阿里云也第一时间宣布了将全面提供IPv6服务,那么在全面部署 IPV6 前,你需要了解都在这儿详情请点击

评论文章 (0) (0) (0)

分享到:

上一篇:两种高性能I/O设计模式(Reactor/Proactor)的比较

下一篇:Windbg+Procdump解决w3wp.exe CPU过百问题

相关文章

《Linux系统编程(第2版)》——2.10 I/O多路…

不可不知 Linux操作系统网络服务器模型

关于网络IO中的同步、异步、阻塞、非阻塞

关于网络IO中的同步、异步、阻塞、非阻塞

Linux下套接字详解(十)---epoll模式下的IO…

开始学习ACE

Java NIO类库Selector机制解析(上)

Linux下套接字详解(九)---poll模式下的IO多…

Reactor模式 NIO epoll

select、poll、epoll之间的区别总结[整理]…

网友评论

登录后可评论,请 登录 或 注册

评论

关注

nothingfinal

软件开发,安全加密

505篇文章|0关注

文中提到的云产品

 推荐引擎

用于实时预测用户对物品偏好,支持企业定制推荐算法,支持A/B Test效果对比 更多>

 共享带宽

共享带宽提供地域级带宽共享和复用功能,支持同地域下所有弹性公网IP共享带宽,进而让绑定弹性公网IP的云服务器EC... 更多>

 企业级数据服务解决方案

深度挖掘企业与企业、企业与人物的关系,通过多位交叉分析及智能算法,构建基于企业全息画像和企业关系网络的风险洞察、... 更多>

 云服务器ECS

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...更多>

目录

收起

1阻塞I/O

2非阻塞I/O

3select机制

4模型

5例子_I/O多路复用并发服务器

6poll机制

7模型

8例子_I/O多路复用并发服务器

9epoll

10模型

11例子_I/O多路复用并发服务器

博主其他文章

更多>

Expert 诊断优化系列------------------语句调优三板斧

Expert 诊断优化系列------------------冤枉磁盘了

Expert 诊断优化系列------------------内存不够用么?

Expert 诊断优化系列------------------你的CPU高么?

redis源码笔记 - redis-cli.c

谈谈如何使用Netty开发实现高性能的RPC服务器

Java如何调用dll

Java调用C/C++实现的DLL动态库——JNI

java调用C++ DLL库方法

在libevent中使用线程池

相关话题

更多>

新的一年,新的精彩,2018你有啥计划?

禁止数据中心使用GeForce显卡跑深度学习,英伟达在打什么盘算?

年度编程语言之王,你最看好谁

深度学习应用,不但要考虑准确性,更要考虑安全

TensorFlow你了解多少,一起来聊聊吧

原文连接

上一篇下一篇

猜你喜欢

热点阅读