各种IO

socket编程之 select、poll、kqueue、epo

2018-04-02  本文已影响38人  VD2012

原生API

select

intselect(int numfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

函数参数

numfds:文件描述符的最大值+1(为了限制检测文件描述符的范围)

readfds:包含所有因为状态变为可读而触发select函数返回文件描述符

writefds:包含所有因为状态变为可写而触发select函数返回文件描述符

exceptfds:包含所有因为状态发生特殊异常而触发select函数返回文件描述符

timeout:表示阻塞超时时限

返回值

当为-1的时候表示出错

当为0的时候表示超时

当大于0则成功

// 新增fd到set中FD_SET(intfd, fd_set *set);// 从set中移除fdFD_CLR(intfd, fd_set *set);// 判断fd是否在set中FD_ISSET(intfd, fd_set *set);// 将set整个清0FD_ZERO(fd_set *set);

基本思路,把要检测的文件描述符加载到 fd_set 类型的集合中,然后调用 select 函数检测加载到集合中的文件描述符;

select 函数监视的文件描述符分为3类,分别是 writefds, readfds, exceptfds,调用之后select函数就会阻塞,直到有文件描述符就绪(有数据可读,可写或者except),或者超时(timeout指定等待时间,如果立即返回设为null即可),函数返回;当select函数返回之后,可以通过遍历 fdset来找到就绪的描述符。

#include#include#include#include#include#includeconstintMAXSIZE =1024;intmain(){intsockfd = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);//sockfd为服务器的套接字sockaddr_insin;sin.sin_family = AF_INET;sin.sin_port = htons(4567);//1024 ~ 49151:普通用户注册的端口号sin.sin_addr.s_addr = INADDR_ANY;    sockaddr_in client_addr;// ...bind 和 listen操作socklen_tclen =sizeof(sockaddr_in);structtimeval tv;intfds[MAXSIZE];memset(fds,-1,sizeof(fds));    fd_set fdset;    fds[0] = sockfd;while(1) {        FD_ZERO(&fdset);inti =0;intfdmax = fds[0];for(; i < MAXSIZE; i++) {if(fds[i] !=-1) {                FD_SET(fds[i], &fdset);if(fdmax < fds[i]) {                    fdmax = fds[i];                }            }        }        tv.tv_sec =2;        tv.tv_usec =0;intres = select(fdmax +1, &fdset,NULL,NULL, &tv);        assert(res !=-1);if(res ==0) {printf("timeout\n");        }else{inti =0;for(; i < MAXSIZE; i++) {if(fds[i] ==-1) {continue;                }if(FD_ISSET(fds[i], &fdset)) {if(fds[i] == sockfd) {intc = accept(sockfd, (structsockaddr *)&client_addr, &clen);if(c >=0) {// 找到一个空的设置成新的套接字for(intk =0; k < MAXSIZE; k++) {if(fds[i] ==0) {                                    fds[i] = c;break;                                }                            }                        }                    }else{charbuff[256] = {0};intn = read(fds[i], buff,255);if(n >0) {printf("read:%s\n", buff);                            write(fds[i],"OK",2);                        }elseif(n ==0) {// 删除套接字fds[i] =0;                        }                    }                }            }        }    }}

这个代码中有不完善的地方:使用数组保存套接字,建议以链表的形式保存链表会更好一些;

优点:跨平台

缺点:

单个进程能够监视的文件描述符的数量存在最大限制,在Linux上一般为1024,可以通过修改宏定义甚至重新编译内核的方式提升这个限制,但是这样也会造成效率的降低;

每次都要调用 select ,都需要把 fd 集合从用户态拷贝到内核态,在fd很多时开销会很大;

每次调用 select 都需要在内核遍历传递进来的所有fd,在fd很多时开销也很大;

注意,每次调用select之前都要对fdset集合进行 FD_ZERO(&fdset) 操作,即清空。

参考文章

linux的I/O复用技术

poll

intpoll(struct pollfd *fds, unsigned int nfds, int timesout);

函数参数:

表示一个pollfd结构的数组。用来保存想要监听的文件描述符及其注册(绑定)的相应事件

表示监听事件集合的大小

指定poll的超时值。当timeout为-1时,就会一直阻塞,直到某个事件发生;当timeout为0时,表示立即返回。

返回值:

当为-1的时候表示失败,当为0的时候表示超时,当为大于0的整数的时候表示执行成功,表示文件描述符的个数。

不同与select使用三个位图来表示三个fdset的方式,poll使用一个 pollfd的指针实现。

structpollfd {intfd;/* file descriptor */shortevents;/* requested events to watch */shortrevents;/* returned events witnessed */};

该结构里包含了要监视等待的event和实际发生的event;

经常检测的事件标记:

POLLIN/POLLRDNORM:可读

POLLOUT/POLLWRNORM:可写

POLLERR:出错

合法的事件标记如下:

POLLIN: 有数据可读

POLLRDNORM: 有普通数据可读

POLLRDBAND: 有优先数据可读

POLLPRI: 有紧迫数据可读

POLLOUT: 写数据不会导致阻塞

POLLWRNORM: 写普通数据不会导致阻塞

POLLWRBAND: 写优先数据不会导致阻塞

POLLMSG SIGPOLL: 消息可用

POLLIN | POLLPRI等价于select()的读事件,POLLOUT |POLLWRBAND等价于select()的写事件。POLLIN等价于POLLRDNORM |POLLRDBAND,而POLLOUT则等价于POLLWRNORM。

从原理上看,select 和 poll 都需要在返回以后,通过遍历文件描述符来获取已经就绪的socket。但是和select不同的是,调用这个函数后,系统不用清空它所检测的socket描述符集合;

因此select函数适合于只检测少量socket描述符的情况,而poll函数适合于大量socket描述符的情况;

#include#include#include#include#include#include#include#defineOPEN_MAX 100intmain(int argc, char *argv[]){//1.创建tcp监听套接字intsockfd = ::socket(AF_INET, SOCK_STREAM,0);//2.绑定sockfdstructsockaddr_in my_addr;    bzero(&my_addr,sizeof(my_addr));    my_addr.sin_family = AF_INET;    my_addr.sin_port = htons(8000);    my_addr.sin_addr.s_addr = htonl(INADDR_ANY);    bind(sockfd, (structsockaddr *)&my_addr,sizeof(my_addr));//3.监听listenlisten(sockfd,10);//4.poll相应参数准备structpollfd client[OPEN_MAX];inti =0, maxi =0;for(;i maxi)                maxi = i;        }//5.2继续响应就绪的描述符for(i=1; i<=maxi; i++)        {if(client[i].fd <0)continue;if(client[i].revents & (POLLIN | POLLERR))            {intlen =0;charbuf[128] ="";//5.2.1接受客户端数据if((len = recv(client[i].fd, buf,sizeof(buf),0)) <0)                {if(errno == ECONNRESET)//tcp连接超时、RST{                        close(client[i].fd);                        client[i].fd =-1;                    }elsecout<<"read error:"<

kqueue

intkqueue(void);

生成一个内核事件队列,返回该队列的文件描述符,其它API通过这个描述符操作这个 kqueue,结构如下:

structkevent {uintptr_tident;//事件ID,一般为文件描述符shortfilter;//事件过滤器u_short flags;//行为标示u_int fflags;//过滤器标识值intptr_tdata;//过滤器数据void*udata;//应用透传数据};intkevent(int kq, const struct kevent *changelist, int nchanges, struct kevent *eventlist, int nevents, const struct timespec *timeout);

提供向内核注册/反注册事件和返回就绪事件或错误事件;在一个kqueue中,{ident,filter}确定一个唯一的事件;

函数参数:

kq:kqueue的文件描述符

changelist:注册/反注册的事件数组

nchanges:changelist的元素个数

eventlist:满足条件的通知事件数组

nevents:eventlist的元素个数

timeout:等待事件到来时的超时时间

返回值为可用事件的个数

kqueue不光能够处理socket的事件,同时还能处理异步io,信号,文件变化等等;

kqueue有两个部分,分别是kqueue和kevent;kqueue主要是用来描述event的队列,而kevent则是监听的事件;

通过kevent提供三个主要的行为功能,分别是

注册/反注册

注意kevent中的neventlist这个输入参数,当其设为0,且传入合法的changelist和nchanges,就会将 changelist 中的事件注册到 kqueue 中;

允许/禁止过滤器事件

通过flags EV_ENABLE 和 EV_DISABLE 使过滤器事件有效或者无效,这个功能在使用 EVFILT_WRITE发送数据时非常有用;

等待事件通知

将 nchangelist 和 nchanges 设置成 null和0 ,当kevent非错误和超时返回时,在 eventlist和nevents 中保存可用事件集合。

实现

#include#include#include#include#include#include#include#definePORT 5001#defineMAX_EVENT_COUNT 64intcreateSocket(){intsock = socket(PF_INET, SOCK_STREAM,0);if(sock ==-1)    {printf("socket() failed:%d\n",errno);return-1;    }structsockaddr_in addr;    addr.sin_family = AF_INET;    addr.sin_port = htons(PORT);    addr.sin_addr.s_addr = htonl(INADDR_LOOPBACK);intoptval =1;    setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, &optval,sizeof(optval));    optval =1;    setsockopt(sock, SOL_SOCKET, SO_NOSIGPIPE, &optval,sizeof(optval));if(bind(sock, (structsockaddr*)&addr,sizeof(structsockaddr)) ==-1)    {printf("bind() failed:%d\n",errno);return-1;    }if(listen(sock,5) ==-1)    {printf("listen() failed:%d\n",errno);return-1;    }returnsock;}intmain(int argc, const char * argv[]){intlistenfd = createSocket();if(listenfd ==-1)return-1;intkq = kqueue();if(kq ==-1)    {printf("kqueue failed:%d",errno);return-1;    }structkevent event = {listenfd,EVFILT_READ,EV_ADD,0,0,NULL};intret = kevent(kq, &event,1,NULL,0,NULL);if(ret ==-1)    {printf("kevent failed:%d",errno);return-1;    }while(true)    {structkevent eventlist[MAX_EVENT_COUNT];structtimespec timeout = {5,0};intret = kevent(kq,NULL,0, eventlist, MAX_EVENT_COUNT, &timeout);if(ret <=0)continue;for(inti=0; i0)                {structkevent changelist[2];                    EV_SET(&changelist[0], clientfd, EVFILT_READ, EV_ADD,0,0,NULL);                    EV_SET(&changelist[1], clientfd, EVFILT_WRITE, EV_ADD,0,0,NULL);                    kevent(kq, changelist,1,NULL,0,NULL);                }continue;            }//异常事件if(flags & EV_ERROR)            {                close(sock);structkevent event = {sock,EVFILT_READ,EV_DELETE,0,0,NULL};                kevent(kq, &event,1,NULL,0,NULL);printf("socket broken,error:%ld\n",data);continue;            }//数据可读if(filter == EVFILT_READ)            {charbuffer[data];memset(buffer,'\0', data);ssize_trecvlen = recv(sock, buffer, data,0);if(recvlen <=0)                {//链接断开close(sock);structkevent event = {sock,EVFILT_READ,EV_DELETE,0,0,NULL};                    kevent(kq, &event,1,NULL,0,NULL);printf("socket broken!\n");continue;                }printf("%s\n",buffer);            }//数据可写if(filter == EVFILT_WRITE)            {charbuffer[data];memset(buffer,'a', data);ssize_tsendlen = send(sock, buffer, data,0);if(sendlen <=0)                {//链接断开close(sock);structkevent event = {sock,EVFILT_READ,EV_DELETE,0,0,NULL};                    kevent(kq, &event,1,NULL,0,NULL);printf("socket broken!\n");continue;                }            }                    }    }return0;}

不同

和前面不同的是,kqueue不会像select或者poll一样每隔一段事件就去轮询所有的socket,当socket数量很多,但是很多socket都不活跃的时候,性能是有影响的,而kqueue只会关注事件发生的socket;

epoll

函数

创建事件表

intepoll_create(int size);

创建一个epoll的句柄,参数 size 并不是限制了epoll所能监听的描述符最大个数,只是对内核初始分配内部数据结构的建议,不同于select中的给出最大监听的fd+1。

操作事件表

intepoll_ctl(int epfd, int op, int fd, struct epoll_event* event);

函数参数

epfd:事件表的文件描述符

op:何种操作,包括 EPOLL_CTL_ADD,EPOLL_CTL_DEL,EPOLL_CTL_MOD,分别实现对fd的监听事件进行添加、删除、修改

fd:需要监听的文件描述符

event:告诉内核需要监听什么事

epoll_event 结构如下:

structepoll_event {__uint32_tevents;/* Epoll events */epoll_data_tdata;/* User data variable */};//events可以是以下几个宏的集合:EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);EPOLLOUT:表示对应的文件描述符可以写;EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);EPOLLERR:表示对应的文件描述符发生错误;EPOLLHUP:表示对应的文件描述符被挂断;EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里

监听相应事件

intepoll_wait(intepfd,structepoll_event *events,intmaxevents,inttimeout)

函数参数:

epfd:事件表的文件描述符

events:从内核得到事件的集合

maxevents:事件集合的大小(不能大于创建时的size)

timeout:超时时间

工作模式

epoll对文件描述符的操作有两种模式:LT(level trigger)和ET(edge trigger)。LT模式是默认模式,LT模式与ET模式的区别如下:

LT模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序可以不立即处理该事件。下次调用epoll_wait时,会再次响应应用程序并通知此事件。

ET模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序必须立即处理该事件。如果不处理,下次调用epoll_wait时,不会再次响应应用程序并通知此事件。

ET模式在很大程度上减少了epoll事件被重复触发的次数,因此效率要比LT模式高。epoll工作在ET模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。

当使用epoll的ET模型来工作时,当产生了一个EPOLLIN事件后, 读数据的时候需要考虑的是当recv()返回的大小如果等于请求的大小,那么很有可能是缓冲区还有数据未读完,也意味着该次事件还没有处理完,所以还需要再次读取:

voidhandle_rev(){while(rs){        buflen = ::recv(activeevents[i].data.fd, buf,sizeof(buf),0);if(buflen <0){// 由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可读// 在这里就当作是该次事件已处理处.if(errno == EAGAIN){//EAGAIN经常出现在当应用程序进行一些非阻塞(non-blocking)操作(对文件或socket)的时候break;            }else{return;            }        }elseif(buflen ==0){// 这里表示对端的socket已正常关闭.}if(buflen ==sizeof(buf){            rs =1;// 需要再次读取}else{            rs =0;        }    }}

有时候epoll不一定比select和poll的效率高,比如这样的场景下:当活动连接数比较高的时候此时epoll会经常触发回调函数 ,此时在性能上还是有一定的损失.epoll适用于连接数量多,但是活跃的连接少.

实现

epollserver::epollserver(intaf,inttype,intprotocol) : norserver(af, type, protocol) {this->_epollfd = ::epoll_create(MAX_SIZE);if(this->_epollfd == INVALID_SOCKTE) {cout<<"epoll create failed"<close(this->socket());}voidepollserver::wait_events() {structepoll_event _events[EPOLL_EVENTS_NUM];this->add_event(this->socket(), EPOLLIN);while(true) {intret = ::epoll_wait(this->_epollfd, _events, EPOLLEVENTS,-1);this->handle_events(_events, ret);    }}voidepollserver::handle_events(structepoll_event* events,intnum) {for(inti =0; i < num; i++) {intsocket = events[i].data.fd;// 服务器本身if(socket ==this->socket()) {this->handle_accept();        }elseif(events[i].events & EPOLLIN) {this->handle_read(socket);        }elseif(events[i].events & EPOLLOUT) {this->handle_write(socket);        }    }}voidepollserver::handle_accept() {this->accept();}voidepollserver::handle_read(intsocket) {intnread;charbuf[MAX_SIZE];    nread = ::read(socket, buf, MAX_SIZE);if(nread == SOCKET_ERROR)    {cout<<"read error:"<close(socket);//记住close fddelete_event(socket, EPOLLIN);//删除监听}elseif(nread ==0)    {fprintf(stderr,"client close.\n");this->close(socket);//记住close fddelete_event(socket, EPOLLIN);//删除监听}else{cout<<"read message is :"<< buf;//修改描述符对应的事件,由读改为写modify_event(socket, EPOLLOUT);    }}voidepollserver::handle_write(intsocket) {intnwrite;charbuf[MAX_SIZE];    nwrite = ::write(socket, buf,strlen(buf));if(nwrite ==-1){cout<<"write error:"<close(socket);//记住close fddelete_event(socket, EPOLLOUT);//删除监听}else{        modify_event(socket, EPOLLIN);    }memset(buf,0, MAX_SIZE);}boolepollserver::add_event(intsocket,intstate) {structepoll_event ev;    ev.events = state;    ev.data.fd = socket;if(!epoll_ctl(this->_epollfd, EPOLL_CTL_ADD, socket, fd, &ev)) {cout<<"epoll add event failed"<_epollfd, EPOLL_CTL_DEL, socket, fd, &ev)) {cout<<"epoll delete event failed"<_epollfd, EPOLL_CTL_MOD, socket, fd, &ev)) {cout<<"epoll modify event failed"<

参考文章

Linux IO模式及 select、poll、epoll详解

上一篇下一篇

猜你喜欢

热点阅读