Redis持久化

2019-10-20  本文已影响0人  柳蒿

RBD(Redis DateBase)

  1. 自动备份:在指定的时间间隔内把数据快照写进磁盘
  2. 手动备份:
    save:阻塞其他所有的任务
    bgsave:后台进行save
  3. 手动停止RDB保存规则方法:redis-cli config set save ""

redis-check-dump --fix filename.rdb:修复rdb文件

备份策略:

在一定的时间间隔内,如果修改的记录数超过某个值,就进行备份。默认是900秒内修改一条,300秒内修改10条或者60秒内修改10000条

RBD其他自动触发机制

  1. 在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点
  2. 执行shutdown命令时,自动执行rdb持久化

备份策略原理

Redis的save m n,是通过serverCron函数、dirty计数器、和lastsave时间戳来实现的。

serverCron是Redis服务器的周期性操作函数,默认每隔100ms执行一次;该函数对服务器的状态进行维护,其中一项工作就是检查 save m n 配置的条件是否满足,如果满足就执行bgsave。

dirty计数器是Redis服务器维持的一个状态,记录了上一次执行bgsave/save命令后,服务器状态进行了多少次修改(包括增删改);而当save/bgsave执行完成后,会将dirty重新置为0。

例如,如果Redis执行了set mykey helloworld,则dirty值会+1;如果执行了sadd myset v1 v2 v3,则dirty值会+3;注意dirty记录的是服务器进行了多少次修改,而不是客户端执行了多少修改数据的命令。

lastsave时间戳也是Redis服务器维持的一个状态,记录的是上一次成功执行save/bgsave的时间。

save m n的原理如下:每隔100ms,执行serverCron函数;在serverCron函数中,遍历save m n配置的保存条件,只要有一个条件满足,就进行bgsave。对于每一个save m n条件,只有下面两条同时满足时才算满足:

  1. 当前时间-lastsave > m
  2. dirty >= n

压缩:LZF压缩,会损耗一定的CPU性能,默认开启,建议开启
校验:CRC64校验,会损耗一定的CPU性能,默认开启,建议开启。

执行flushall会删除掉所有的记录,该情况满足自动备份条件,会立刻进行备份,但是备份的rdb文件为空

RBD缺点:

  1. 每隔一定时间进行一次保存,如果redis意外宕机,则会丢失最后一次snapshot
  2. 备份时需要fork一份当前的数据,需要额外的空闲空间,还会导致在一些毫秒级不能相应客户端请求

RBD优点

  1. RDB是一个非常紧凑的文件
  2. 备份时,只需要主进程fork一个子进程,接下来的任务都由子进程完成,可以最大化redis性能
  3. 与AOF相比,恢复大数据集的时候会更快一些。

AOF(Append only File)

记录Redis执行过的所有写操作,redis启动的时候会把aof文件中的所有命令从前到后执行一次,只允许追加文件。默认不使用

redis-cli appendonly.aof:使用aof文件进行恢复
redis-check-aof --fix filename.aof:修复aof文件命令。删除filename.aof文件中所有不符合aof语法的句子

备份策略

实时(always):保存每一条写命令,对性能要求高,不会有数据丢失。
每秒(everysec):每秒保存一次写命令,如果redis服务器宕机,会有数据丢失。默认采取每秒(everysec)
不追加(no):不保存写命令

重写

当AOF文件越来越大到一定阈值的时候,redis会采取重写策略,将内容压缩。
AOF rewrite操作就是“压缩”AOF文件的过程,当然redis并没有采用“基于原aof文件”来重写的方式,而是采取了类似snapshot的方式:基于copy-on-write,全量遍历内存中数据,然后逐个序列到aof文件中。因此AOF rewrite能够正确反应当前内存数据的状态,这正是我们所需要的;
rewrite过程中,新的变更操作将仍然被写入到原AOF文件中,同时这些新的变更操作也会被redis收集起来(buffer,copy-on-write方式下,最极端的可能是所有的key都在此期间被修改,将会耗费2倍内存),当内存数据被全部写入到新的aof文件之后,原aof文件中收集的新的变更操作也将会一并追加到新的aof文件中,然后把新的aof文件重命名为appendonly.aof,此后所有的操作都将被写入新的aof文件。
如果在rewrite过程中出现故障,将不会影响原AOF文件的正常工作,只有当rewrite完成之后才会切换文件,因此rewrite过程是比较可靠的

AOF缺点**

  1. 恢复相同大小的数据,AOF文件远大于RDB,运行效率也低于RBD
  2. aof文件rewrite操作,把数据压缩写到新的文件中的时候会导致几乎无法避免的阻塞。

AOF优点

  1. aof文件可读性好
  2. 数据完整新好,最坏只会丢失2s的数据

RBD和AOF

上一篇下一篇

猜你喜欢

热点阅读