Redis从源码到架构

EventLoop

2018-10-28  本文已影响0人  Kuchikikakashi

EventLoop

Overview

先给出Redis关于\color{red}{EventLoop}的定义(见下文代码):
在ae.h中,定义了基本的数据模型和接口,其实这个思想也贯穿了整个Redis的设计中,Java是通过interface或者abstract class来达到抽象的方式,而C中,往往通过一个头文件,定义了基本接口,具体实现可以再不同文件中实现。

Redis对于EventLoop的处理主要集中在 ae.h/ae.c中,分为两部分,一部分是对于文件(网络)事件的处理,另一部分是对于时间事件的处理(定时任务和周期性任务)。
对于两种不同的时间类型,Redis使用了不同的设计。

文件事件主要是网络socket的处理,基于不同的操作系统或操作系统版本之间,设置的网络模型不同,需要有不同的交互方式。这里,Redis的实现方式为抽象出与底层交互的统一接口\color{red}{见下文代码处},通过实现相应接口和加载(初始化时,会根据系统不同加载不同的文件,有点Java中SPI的思想)。从设计模式的角度讲(以后会专门讲这个,笔者认为不应该纠结于设计模式本身,而是应该通过设计模式来加深对于OO的理解),类似于Adapter模式。

时间事件的处理分为两类,定时任务周期性任务,两种任务的不同处理之处在于,周期性任务执行后,会重新添加到时间任务列表中(Redis通过一个单链表来实现时间任务队列,每次轮询这个链表来执行到期的任务,这点笔者认为使用这种数据结构来维护时间列表会不会更合理一些?)。不同于文件事件,时间事件的处理主要是通过传入的回调函数执行的。
aeEventLoop:

typedef struct aeEventLoop {
    // 目前已注册的最大描述符
    int maxfd;   /* highest file descriptor currently registered */
    // 目前已追踪的最大描述符
    int setsize; /* max number of file descriptors tracked */
    // 用于生成时间事件 id
    long long timeEventNextId;
    // 最后一次执行时间事件的时间
    time_t lastTime;     /* Used to detect system clock skew */
    // 已注册的文件事件
    aeFileEvent *events; /* Registered events */
    // 已就绪的文件事件
    aeFiredEvent *fired; /* Fired events */
    // 时间事件
    aeTimeEvent *timeEventHead;
    // 事件处理器的开关
    int stop;
    // 多路复用库的私有数据
    void *apidata; /* This is used for polling API specific data */
    // 在处理事件前要执行的函数
    aeBeforeSleepProc *beforesleep;
} aeEventLoop;

抽象出的接口如下:

/* Prototypes */
void aeMain(aeEventLoop *eventLoop);
int aeProcessEvents(aeEventLoop *eventLoop, int flags);

//Event Loop Related
aeEventLoop *aeCreateEventLoop(int setsize);
void aeDeleteEventLoop(aeEventLoop *eventLoop);
void aeStop(aeEventLoop *eventLoop);

//File Event Related
int aeCreateFileEvent(aeEventLoop *eventLoop, int fd, int mask,
        aeFileProc *proc, void *clientData);
void aeDeleteFileEvent(aeEventLoop *eventLoop, int fd, int mask);
int aeGetFileEvents(aeEventLoop *eventLoop, int fd);

//Time Event Related
long long aeCreateTimeEvent(aeEventLoop *eventLoop, long long milliseconds,
        aeTimeProc *proc, void *clientData,
        aeEventFinalizerProc *finalizerProc);
int aeDeleteTimeEvent(aeEventLoop *eventLoop, long long id);

//Others
int aeWait(int fd, int mask, long long milliseconds);
char *aeGetApiName(void);
void aeSetBeforeSleepProc(aeEventLoop *eventLoop, aeBeforeSleepProc *beforesleep);
int aeGetSetSize(aeEventLoop *eventLoop);
int aeResizeSetSize(aeEventLoop *eventLoop, int setsize);

文件事件

对于文件事件的处理,Redis得益于对事件的封装上,Redis封装的事件有以下几种:

static int aeApiCreate(aeEventLoop *eventLoop);
static int aeApiAddEvent(aeEventLoop *eventLoop, int fd, int mask)
static int aeApiPoll(aeEventLoop *eventLoop, struct timeval *tvp)

static void aeApiDelEvent(aeEventLoop *eventLoop, int fd, int delmask)
static int aeApiResize(aeEventLoop *eventLoop, int setsize);
static void aeApiFree(aeEventLoop *eventLoop);
static char *aeApiName(void)

对应关系为


具体怎样运作的,放在下一节中详细说明

时间事件

关于时间事件,Redis中主要运行的可能就是serverCron了

Interaction

本节内容主要是以epoll为例,介绍Redis面向接口的一种设计的具体实现

Redis通过ae.c/ae.h中暴露出的接口和epoll(或其他socket类型的api)交互,沟通的结构为eventloop中的apidata

typedef struct aeEventLoop {
....
....
    // 多路复用库的私有数据
    <font color=red><b>void *apidata; /* This is used for polling API specific data */ </b></font>

....

} aeEventLoop;

apiData 在 epoll.c 中的对应数据结构如下:

typedef struct aeApiState {
    // epoll_event 实例描述符
    int epfd;

    // 事件槽
    struct epoll_event *events;

} aeApiState;

初始化时,调用int aeApiCreate(aeEventLoop *eventLoop)对eventLoop所相关的进行init操作, 如下(只记录正常逻辑)

static int aeApiCreate(aeEventLoop *eventLoop) {

    aeApiState *state = zmalloc(sizeof(aeApiState));
    // 初始化事件槽空间
    state->events = zmalloc(sizeof(struct epoll_event)*eventLoop->setsize);
    // 创建 epoll 实例, 调用epoll接口
    state->epfd = epoll_create(1024); /* 1024 is just a hint for the kernel */

    // 赋值给 eventLoop
    eventLoop->apidata = state;
    return 0;
}

同时,函数调用方(callee)为aeEventLoop的初始化函数:

aeEventLoop *aeCreateEventLoop(int setsize) {
    aeEventLoop *eventLoop;
    int i;
    // 创建事件状态结构
    if ((eventLoop = zmalloc(sizeof(*eventLoop))) == NULL) goto err;

    // 初始化文件事件结构和已就绪文件事件结构数组
   ...

    // 初始化时间事件结构
    ...

  /** 调用API**/
    if (aeApiCreate(eventLoop) == -1) goto err;

    /* Events with mask == AE_NONE are not set. So let's initialize the
     * vector with it. */
    // 初始化监听事件
    for (i = 0; i < setsize; i++)
        eventLoop->events[i].mask = AE_NONE;

    // 返回事件循环
    return eventLoop;
err:
    if (eventLoop) {
        zfree(eventLoop->events);
        zfree(eventLoop->fired);
        zfree(eventLoop);
    }
    return NULL;
}
上一篇下一篇

猜你喜欢

热点阅读