IO 多路复用 select vs pool vs epool

2020-07-02 本文已影响0人三石_5f43

IO 多路复用 select vs pool vs epool

前言

在类 unix linux 系统中每一个进程都存在一个文件描述符表，表指向具体的文件，比如 socket, 设备（devices）, 和其他操作系统对象。

IO多路复用（IO Multiplexing ）出现的背景

多个io资源协同工作的系统，具有典型的两个阶段，初始化阶段，然后进入等待模式，等待客户端发起请求并对其进行相应。
简单的实现是对每一个客户端socket 请求创建一个thread 线程，在read 的时候block 阻塞，直至一个请求被发送并且接受到一个写入（write)的响应。
这种工作模式在客户端client 比较少的时候是ok 的，但是如果在大规模的客户端请求调度中，为每个client 都创建一个线程是非常不好的。

io 多路复用应运而生。

IO Multiplexing 模式的支持

实现思想是：采用内核机制来轮询一组文件描述符，在linux 中有以下三种支持。

它们的实现思路一样，都是创建一组标志读（read）写（write）的文件描述符，并告知内核，并用一个线程阻塞一个函数调用，直到一个文件描述符的操作（read/write）可用。

select()
pool()
epool()

select() 系统调用

select () 指令

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

对一个select 指令的调用会被阻塞，直到给定的文件描述符执行IO 操作，或则在指定的过期时间内失效，被监视的文件描述符分为三组。

readfds: 监视 readfds集中列出的文件描述符，以查看是否有数据可读取。
writefds: 监视 writefds 集中列出的文件描述符，已查看是否写入操作完成且没有发生阻塞。
exceptfds : 监视是否出现异常，或则带外数据（OOB）可用。

select 没有监察到上述事件就会返回null。成功返回则修改每个集合。使其仅包含已经准备就绪的文件描述符。

因为需要告知 select() 最大的文件描述符编号，这是fd_sets 的内部实现。

【在fd_set 中一个fd(file description) 文件描述占用 1bit, fd_set 是length 为32 的整数数组，（32 x 4byte x 8bit = 1024bit），假设存在 8个文件描述符，最大的文件描述符值为1000，那么将会在0 ~ 1000 中找到监视的文件描述符】

这也是一个弊端，因为需要在每次轮询迭代时重新构建文件描述符集。

select () 总结

在每次调用前需要重新构建每个fd_set 集合。
函数调用监视文件描述符最大值N 范围内的任何位，时间复杂度为 O(N)。
需要轮询遍历文件描述符集，检查是否存在于从 select() 返回的集合中。
select 最大的优势是轻便，可移植，任何unix 系统都支持。

pool() 系统调用

int poll (struct pollfd *fds, unsigned int nfds, int timeout);

与select () 采用3个基于标记位的文件描述符集不同，pool 采用一个pollfd 结构，原型更简单。

struct pollfd {
      int fd;
      short events; 
      short revents;
};

为每一个文件描述符构建一个 pollfd 类型的兑对象，并填充请求（request）事件，然后轮询返回响应，检查返回事件(revents)字段。

与selelct() 类似，需要检测每一个pollfd 对象去看它的文件描述符是否已准备好，，但是不需要在每次轮询时重新构建文件描述符集。

epool() 系统调用

pool() ,select() 工作时，我们需要在用户空间管理任何事情，在每次调用发送文件描述符集时陷入阻塞等待。添加另外的socket ，我们需要把它加入到集合中并再一次调用 pool() select()。

epool() 帮助我们在内核中创建和管理上下文，可以分为以下三步：

调用 epool_create 在内核中创建上下文。
调用epool_ctl 在上线文中添加或删除文件描述符。
采用epool_wait 等待上下文中的事件。

pool() vs select()

pool() 不需要用户去计算文件描述符最大数+1。
pool() 对于很大数值的文件描述符更有效率。
select() 的文件描述符集是固定的大小。
采用select() 系统调用，文件描述符集在返回后被重新构造，因此接下来的调用必须重新实例化，pool() 将输入（event 字段）和输出（output ）分开，从而允许文件描述符集可以重用而无需改动。
select() 更轻便，一些unix 系统不支持 pool()。

epool vs pool vs select

在等待io 响应的时候可以添加或删除文件描述符。
epool_wait 仅返回具有已经准备的文件描述符的对象。
epool 拥有更高的性能，时间复杂度为 O(1)。
epool 可以表现为水平触发，和边缘触发。
epool 是linux 特有的，不具有很好的可移植性。

IO 多路复用 select vs pool vs epool