Memcached 与Redis (4): Redis 的持久化

1. Redis 数据库

• redisServer{ redisDb *db, int dbnum}
  • 客户端使用select num来切换使用的数据库.
• redisClient{ resided *db}
• redisDb{ dict *dict, dict *expires}.
  • expires 记录着key 和其过期时间.
• 数据库通知.
  • 让客户端获取key的变化, 及命令的执行情况.
  • key-space notification. 关注某个键执行了什么命令.
  • key-event notification. 关注某个命令在什么键上被执行了.

2. RDB持久化

RDB文件是压缩过的二进制文件, 通过该文件可以还原生成文件时的数据库状态.

• RDB文件的创建与载入.

  • 使用save/bgsave 来同步/异步地创建.
  • �自动进行载入, 且载入期间Redis 会处于阻塞状态.
  • 由于AOF文件的更新频率高于RDB,所以优先使用AOF进行还原数据库状态.

• 自动间隔性保存.

  • redisServer{ saveparam *saveparams, dirty, lastSave}.
    • dirty 为修改计数器.
    • lastSave 记录着上次保存的时间.
      -saveparam{ time_t seconds, changes}.
    • 服务器的周期性函数serverCron每隔100毫秒运行一次, 其会检查是否有满足的保存条件.

• RDB文件结构.

  • REDIS | db_version | databases | EOF | check_sum
  • database = SELECT | db_number | key_value_pairs.
  • EOF 为一个字节的常量, 用来标示文件正文内容的结束.
  • checksum 用于载入时验证损坏或出错.
  • value的编码.
    • �普通的字符串: Encoding | int, len | string.
    • 当长度大于20时: Redis_RDB_ENC_LZF | compressed_len | origin_len | compressed string.

3. AOF持久化

Append Only File. 保存服务器所执行的写命令来记录数据库状态.

• 持久化的实现
  • 命令追加.
    • 在执行完写命令后, 将写命令追加到redisServer { sds aof_buf }缓存区的结尾.
  • 文件的写入与同步.
    • 服务器在结束一个事件循环前, 考虑是否将aof_buf的内容保存到AOF文件中.
• 文件的载入与数据还原.
  • 由于Redis命令只能在客户端执行, 所以会创建一个不带网络链接的 fake client 来逐条执行命令.
• AOF重写(BGRewriteAOF): 为了解决文件体积膨胀问题.
  • 创建新的AOF 文件来替代现有的AOF, 新文件不包含任何浪费空间的冗余命令.
  • 通过读取服务器当前的数据库状态来实现, 而并不需要对现有AOF 文件进行任何读取, 分析或写入操作.
  • 过程: 读取key 现有的value, 然后用一条命令去记录键值对, 代替之前记录该键值对的多条命令.
  • 重写是放入子进程中进行.
    • 为了解决重写过程中新增的写入命令, 设置AOF重写缓存区.

4. 事件

• 文件事件.
  • 对TCP 操作的抽象.
  • 组成: Socket + I/O多路复用(multiplexing) 程序 + 文件事件分派器 + 事件处理器.
    • 使用I/O 多路复用来同时监听多个�TCP.
    • 文件事件分派器�使用队列实现.
    • 事件处理器用来处理命令请求,命令回复,连接应答.
• 时间事件.
  • 分为: 定时事件和周期性事件.
    • serverCron为时间事件.
  • 组成 : id + when + timeProc.
  • 实现: 将所有时间事件放在一个无序链表中.
    • 每次执行时遍历整个链表.
  • 时间事件的实际处理通常比设定的到达时间晚一点.
• 两者都是同步有序原子地执行的, 不会被中断.
  • 所以应当减少时间阻塞时间, 来降低造成事件饥饿的可能性.

5. 客户端

• Redis 服务器为一对多的服务器
  • redisServer{ list *clients}.
  • 使用由I/O 多路复用实现的文件时间处理器.
  • 使用单线程的方式处理命令请求, 并与多个客户端进行通信.
• RedisClient
  • fd. 客户端的socket描述符.
  • fake client =-1, 用于还原时的载入AOF, 和执行Lua脚本时.
  • robj *name. 默认为null,有名字使得身份更加清晰.
  • int flags. 角色和目前所处的状态.
  • sds querybuf. 输入缓存区用于保存发送的命令请求.
  • robj **argv + int argc. 命令的参数以及参数个数. argv[0]是要执行的命令,其余是命令的参数.
  • redisCommand *cmd. 命令的实现函数. 通过命令表查找出命令所对应的实现函数.
  • buf[REDIS_REPLY_CHUNK_BYTES] + bufpos. 固定的缓存区. 用于命令的回复.
  • list *reply. 可变大小缓冲区.
  • int authenticated. 是否通过了身份验证.