Redis | 第6章事件与客户端《Redis设计与实现》

2021-11-29 本文已影响0人多氯环己烷

前言

参考资料：《Redis设计与实现第二版》；

第二部分为单机数据库的实现，主要由以下模块组成：数据库、持久化、事件、客户端与服务器；

本篇将介绍 Redis 中的事件与客户端，其中事件有两种：文件事件与时间事件；客户端主要介绍属性，以及创建与关闭；

与本章相关的 Redis 命令总结在下篇文章，欢迎点击收藏，本篇将不再重复：

《Redis常用命令及示例总结（API）》：https://www.jianshu.com/p/f8eb9afaa908

1. 事件

Redis 服务器是一个事件驱动程序，服务器需要处理以下两类事件：
- 文件事件（file event）：Redis 服务器通过嵌套字与客户端进行连接，文件事件就是服务器对嵌套字操作的抽象。服务器与客户端的通信会产生响应文件事件，服务器通过监听并处理这些事件来完成一系列网络通信操作；
- 时间事件（time event）：Redis 服务器中的一些操作需要在给定事件点执行，而时间事件就是服务器对这类定时操作的抽象；

1.1 文件事件

1.1.1 I/O 多路复用程序的实现

Redis 使用文件事件处理器（file event handler）处理文件事件：
文件事件处理器是基于 Reactor 模式实现的网络通信程序；
文件事件处理器的组成：

文件事件处理器的组成.png
- 由四个部分：套接字、I/O 多路复用程序、文件事件分派器、事件处理器；
- I/O 多路复用技术会将所有产生事件的套接字放在一个队列，逐个传送套接字；
I/O 多路复用技术的底层实现：
- 通过包装常见的 select、epoll、evport 和 kqueue 这些 I/O 多路复用函数库来实现；
- I/O 多路复用函数库实现了相同的API，底层实现跨越互换；
- 程序会在编译时自动选择系统中性能最高的 I/O 多路复用函数库作为底层实现；

底层 IO 多路复用库的选择.png

1.1.2 事件类型与 API

事件的类型：
- AE_READABLE 事件：（优先）当套接字可读时、或有新的可应答套接字出现时；
- AE_WRITABLE 事件：当套接字变成可写时；
相关 API：
- ae.c/aeCreateFileEvent：将给定套接字的给定事件加入到 I/O 多路复用程序的监听范围之内，并对事件和事件处理器进行关联；
- ae.c/aeGetFileEvents：接受一个套接字描述符，返回该套接字正在被监听的事件类型；
- ae.c/aeWait：在给定时间内阻塞并等待套接字的给定类型事件产生；
- ae.c/aeApiPoll：在指定时间内，阻塞并等待所有被 aeCreateFileEvent 函数设置为监听状态的套接字产生文件事件；
- ae.c/aeProcessEvents：文件事件分派器；
- ae.c/aeGetApiName：返回当前 I/O 多路复用程序底层的多路复用函数库名称；

1.1.3 文件事件的处理器

Redis 为文件事件编写多个处理器，用于实现不同的网络通信需求，有：
- 连接应答处理器：networking.c/acceptTcpHandler；
  连接应答处理器.png

命令请求处理器：networking.c/readQueryFromClient；

命令请求处理器.png

命令回复处理器：networking.c/sendReplyToClient；

命令回复处理器.png

客户端与服务端的通信过程：

客户端与服务器的通信过程.png

1.2 时间事件

时间事件分两类：
- 定时事件：事件处理器返回 ae.h/AE_NOMORE；
- 周期性事件：事件处理器返回非 ae.h/AE_NOMORE 的整数值
一个时间事件的三个属性组成：
- id：唯一标识，新事件 id 大于旧事件 id；
- when：毫秒精度 UNIX 时间戳，记录时间事件到达（arrive）时间；
- timeProc：时间事件处理器；
时间事件的实现：服务器将所有时间事件保存在一个无序链表，每当时间事件执行器运行时，它就遍历整个链表，查找所有已到达的时间事件，并调用事件处理器；
- 无序链表不影响事件处理器的性能；

时间事件的实现.png

1.2.1 API

ae.c/aeCreateTimeEvent：创建时间事件，这个时间事件将在当前时间的 milliseconds 毫秒后到达，事件处理器为 proc；
ae.c/aeDeleteFileEvent：根据 id 从服务器中删除对应的时间事件；
ae.c/aeSearchNearestTimer：返回到达时间距离当前时间最接近的那个时间事件；
ae.c/processTimeEvents：时间事件执行器，遍历所有时间事件，并调用处理器处理已到达的时间事件。实际不存在，处理时间事件实际由 ae.c/aeProcessEvents 函数负责；

1.2.2 serverCron 函数

Redis 服务器需要定期对自身资源和状态进行检查和调整，从而确保服务器可以长期、稳定地运行，这个操作由 redis.c/serverCron 函数执行，其主要工作包括：
- 更新服务器的各类信息，如时间、内存占用、数据库占用情况；
- 清理数据库中的过期键值对；
- 关闭和清理连接失败的客户端；
- 尝试进行 AOF 或 RDB 持久化操作；
- 如果服务器是主服务器，需要对服务器进行定期同步；
- 如果服务器是集群模式，对集群进行定期同步和连接测试；

1.3 事件的调度与执行

Redis 服务器对文件事件与时间事件的调度由 ae.c/aeProcessEvents 函数负责；
ae.c/aeProcessEvents 函数的处理逻辑：
- 获取到达时间离当前时间最接近的时间事件；
- 计算最接近的时间事件距离到达还有多少毫秒 remaind_ms；
- 事件到达则将 remaind_ms 设为0；
- 根据 remaind_ms 的值创建 timeval 结构；
- 阻塞并等待文件事件产生，最大阻塞事件由传入的 timeval 结构决定；
- 若 remaind_ms 的值为0，那么 aeApiPoll 调用后马上返回，不阻塞；
- 处理所有已产生的文件事件；
- 处理所有已到达的时间事件；
事件处理角度下的服务器运行流程：

事件处理角度下的服务器运行流程.png
事件的调度和执行规则：
- aeApiPoll 函数的最大阻塞时间由到达时间最接近当前时间的事件事件决定；
- 文件事件和时间事件的处理都是同步、有序、原子地执行，服务器不会中途中断事件处理，也不会对事件进行抢占；
- 时间事件会将非常耗时的持久化操作放到子线程或子进程执行；
- 时间事件在文件事件之后执行，并且事件间不会出现抢占，所以时间事件的实际处理时间通常比时间事件的到达时间稍晚一些；

1.4 Redis 的单进程单线程误区

Redis 并不完全是单进程单线程的，在进行 RBD 持久化，执行 BGSAVE 命令时，会创建一个子进程在后台进行备份；
Redis 的单进程指的是：文件事件处理器是单进程单线程模式运行的，也即 Redis 处理大部分请求时是用单线程；
Redis 使用单线程模式还能保持高效率，主要是因为：
- 纯内存操作（主要）；
- 核心是基于非阻塞的 I/O 多路复用机制（主要）；
- 单线程避免了多线程的频繁上下文切换问题；
I/O 多路复用程序总是将所有产生事件的套接字放到一个队列，以有序、同步、每次一个套接字的方式向文件事件分派器传送套接字；
Redis 的 I/O 多路复用程序通过包装常见的底层 I/O 多用复用函数库实现，程序在编译时自动选择系统中性能最高的 I/O 多路复用函数库作为底层实现；

2. 客户端

Redis 服务器状态结构 clients 属性是一个链表，保存了所有客户端状态：
```
struct redisServer{
    //...
    //客户端链表
    list *clients;
};
```

cilents链表.png

2.1 客户端属性

客户端状态包含的属性可以分为两类：
- 通用属性：很少与特定功能有关，本章重点介绍；
- 与特定功能相关的属性：如操作数据库时的 db 属性与 dicrid 属性，执行事务时需要的 mstate 属性，执行 WATCH 命令时需要用到的 watched_keys 属性等；

2.1.1 嵌套字描述符

客户端状态的 fd 属性记录了客户端正在使用的嵌套字描述符：
```
typedef struct redisClient{
    //...
    //嵌套字描述符
    int fd;
} redisClient;
```
- fd 为 -1 时：伪客户端，命令请求来源于 AOF 文件或 Lua 脚本，不需要套接字。用于载入 AOF 文件并还原数据库状态和执行 Lua 脚本中包含的 Redis命令；
- fd 大于 -1 时：普通客户端，服务器使用 fd 属性记录客户端套接字的描述符；

2.1.2 名字

默认情况，一个连接到服务器的客户端是没有名字的；
可以使用 CLIENT SETNAME 命令为客户端设置一个名字；
使用 CLIENT GETNAME 命令获取当前连接的名字；

客户端名字记录在客户端状态的 name 属性里：

typedef struct redisCilent{
    //...
    //名字
    robj *name;
} redisClient;

2.1.3 标志

客户端的标志属性 flags 记录了客户端的角色，以及客户端目前所处的状态：
```
typedef struct redisClient{
    //...
    //标志
    int flags;
} redisClient;
```
- flags属性可以是单个标志，也可以是多个二进制；
每个标志使用一个常量表示，一部分记录了客户端角色。另一部分标志记录了客户端目前所处状态；
通常情况下，Redis 只会将那些对数据库进行修改的命令写入 AOF 文件，并复制到各个从服务器；
PUBSUB 和 SCRIPT LOAD 命令除外，带有副作用，前者会改变接受消息的客户端状态，服务端需要使用 REDIS_FORCE_AOF 标志。后者修改服务器状态，服务器状态需要REDIS_FORCE_AOF 和 REDIS_FORCE_REPL 标志；
标志在 redis.h 文件里面定义；

2.1.4 输入缓冲区

客户端状态的输入缓冲区用于保存客户端发送的命令请求；

typedef struct redisClient{
    //...
    //输入缓冲区
    sds querybuf;
} redisClient;

一个输入缓冲区示例.png

输入缓冲区的大小会根据输入内容动态地缩小或扩大，最大不能超过 1GB；

2.1.5 命令与命令参数

服务器将客户端的命令请求保存到客户端状态的 querybuf 属性后，服务器对命令请求内容分析，得出命令参数及参数个数，保存到客户端状态的 argv 和 argc 属性；
argv 属性是一个数组，数组中的每个项都是一个字符串对象，argv[0] 是要执行的命令，之后的其他项是传给命令的参数；

argc 属性负责记录 argv 数组的长度；

typedef struct redisClient{
    //...
    //命令及其参数数组
    robj **argv;
    //数组的长度
    int argc;
} redisClient;

argv 属性与 argc 属性示例.png

2.1.6 命令的实现函数

服务器根据项 argv[0] 的值，在命令表中查找命令所对应的命令实现函数；

命令表.png

在命令表找到 argv[0] 对应的 redisCommand 结构后，会将客户端状态的 cmd 指针指向这个结构；

typedef struct redisClient{
    //...
    //命令的实现函数
    struct redisCommand *cmd;
} redisClient;

查找命令并设置 cmd 属性.png

2.1.7 输出缓冲区

执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里面，每个客户端都有两个输出缓冲区可用：
- 固定大小的缓冲区：保存长度较小的回复，默认 16KB；
```
typedef struct redisClient{
    //...
    //字节数组，保存缓冲区
    char buf[REDIS_REPLY_CHUNK_BYTES];
    //buf已使用的字节数量
    int bufpos;
}
```

可变大小的缓冲区：保存长度较大的回复，使用链表；

typedef struct redisClient{
    //...
    //链表
    list *reply;
} redisClient;

可变大小的缓冲区的示例.png

2.1.8 身份验证

客户端状态的 authenticated 属性用于记录客户端是否通过了身份验证；
```
typedef struct redisClient{
    //...
    //身份验证属性
    int authenticated;
} redisClient;
```
- authenticated 为 0 时：身份未验证；
- authenticated 为 1 时：身份验证；
authenticated 属性仅在服务器启用身份验证功能时用。若该功能未开启，即使 authenticated 值为 0，服务器也不会拒绝客户端的命令请求；

2.1.9 时间

typedef struct redisClient{
   //...
   //记录了创建客户端的时间
   time_t ctime;
   //记录客户端与服务器最后一次进行互动（interaction）的时间，即空转时间
   time_t lastinteraction;
   //输出缓冲区第一次到达软性限制（soft limit）的时间
   time_t obuf_soft_limit_reached_time;
} redisClient;

2.2 客户端的创建与关闭

2.2.1 创建普通客户端

客户使用 connect 函数连接服务器时，服务器调用连接事件处理器，为客户端创建相应的客户端状态，并将新的客户端状态添加到服务器状态结构 clients 链表末尾；

clients 链表.png

2.2.2 关闭普通客户端

一个普通客户端可以因为多种原因而被关闭；
- 如：网络连接关闭、发送了不合协议格式的命令请求、成为 CLIENT KILL 命令的到目标、空转时间超时、命令请求超过输入缓冲区限制大小（1 GB）、输出缓冲区的大小超出限制；
服务器使用两种模式限制客户端输出缓冲区的大小：
- 硬性模式（hard limit）：缓冲区大小超过所硬性限制所设置大小，立即关闭客户端；
- 软性模式（soft limit）：缓冲区大小超过软性限制所设置大小，并且持续时间超过设置的时间，才会关闭客户端；

2.2.3 Lua 脚本的伪客户端

服务器在初始化时创建负责执行 Lua 脚本中包含的 Redis 命令的伪客户端，并将其关联在服务器状态结构的 lua_client 属性；
```
struct redisServer{
    //...
    //Lua 脚本的伪客户端
    redisClient *lua_client;
};
```
伪客户端在服务器运行的整个生命周期中会一直存在，只有服务器被关闭时，这个客户端才会被关闭；

2.2.4 AOF 文件的伪客户端

服务器在载入 AOF 文件时，会创建用于执行 AOF 文件中包含的 Redis 命令的伪客户端，并在载入完成后，关闭客户端；

最后

$\color{blue}{\rm\small{新人制作，如有错误，欢迎指出，感激不尽！}}$

$\color{blue}{\rm\small{欢迎关注我，并与我交流！}}$

$\color{blue}{\rm\small{如需转载，请标注出处！}}$

Redis | 第6章事件与客户端《Redis设计与实现》

前言

1. 事件

1.1 文件事件

1.1.1 I/O 多路复用程序的实现

1.1.2 事件类型与 API

1.1.3 文件事件的处理器

1.2 时间事件

1.2.1 API

1.2.2 serverCron 函数

1.3 事件的调度与执行

1.4 Redis 的单进程单线程误区

2. 客户端

2.1 客户端属性

2.1.1 嵌套字描述符

2.1.2 名字

2.1.3 标志

2.1.4 输入缓冲区

2.1.5 命令与命令参数

2.1.6 命令的实现函数

2.1.7 输出缓冲区

2.1.8 身份验证

2.1.9 时间

2.2 客户端的创建与关闭

2.2.1 创建普通客户端

2.2.2 关闭普通客户端

2.2.3 Lua 脚本的伪客户端

2.2.4 AOF 文件的伪客户端

最后

猜你喜欢

热点阅读

Redis | 第6章 事件与客户端《Redis设计与实现》

前言

1. 事件

1.1 文件事件

1.1.1 I/O 多路复用程序的实现

1.1.2 事件类型与 API

1.1.3 文件事件的处理器

1.2 时间事件

1.2.1 API

1.2.2 serverCron 函数

1.3 事件的调度与执行

1.4 Redis 的单进程单线程误区

2. 客户端

2.1 客户端属性

2.1.1 嵌套字描述符

2.1.2 名字

2.1.3 标志

2.1.4 输入缓冲区

2.1.5 命令与命令参数

2.1.6 命令的实现函数

2.1.7 输出缓冲区

2.1.8 身份验证

2.1.9 时间

2.2 客户端的创建与关闭

2.2.1 创建普通客户端

2.2.2 关闭普通客户端

2.2.3 Lua 脚本的伪客户端

2.2.4 AOF 文件的伪客户端

最后

猜你喜欢

热点阅读

Redis | 第6章事件与客户端《Redis设计与实现》