Redis部分重同步的细节

部分重同步的组成

部分重同步功能由以下三个部分构成∶
1.主服务器的复制偏移量（replication offset）和从服务器的复制偏移量
2.主服务器的复制积压缓冲区（replication backlog）
3.服务器的运行 ID（run ID)

复制偏移量

    执行复制的双方——主服务器和从服务器会分别维护一个复制偏移量∶
    主服务器每次向从服务器传播N个字节的数据时，就将自己的复制偏移量的值加上N。
    从服务器每次收到主服务器传播来的N个字节的数据时，就将自己的复制偏移量的值加上N。

    比如：主从服务器的复制偏移量的值都是10086

image.png

    如果这时主服务器向三个从服务器传播长度为33字节的数据，那么主服务器的复制偏移量将更新为10086+33=10119，而三个从服务器在接收到主服务器传播的数据之后，也会将复制偏移量更新为10119。

image.png

    通过对比主从服务器的复制偏移量，程序可以很容易地知道主从服务器是否处于一致状态∶如果主从服务器处于一致状态，那么主从服务器两者的偏移量总是相同的。相反，如果主从服务器两者的偏移量并不相同，那么说明主从服务器并未处于一致状态。

    但是，考虑一种情况：如果在要向从服务器A传播的过程中，A掉线了，失去连接，而B、C可以正确的接收到数据，那么B、C偏移量变成了10119,而A还是10086。此时A与主服务器是不一致的。

image.png

    假设A在断开之后重连服务器，并且成功。从服务器向主服务器发送PSYNC命令，报告从服务器当前的偏移量是10086，那么这时，主服务器应该是执行部分重同步还是完整重同步呢？如果是执行部分重同步，主服务器又如何补偿从服务器A在断线期间丢失的那部分数据呢？问题先留着，接着看下面的复制积压缓冲区。

复制积压缓冲区

    复制积压缓冲区是由主服务器维护的一个固定长度（fixed-size）先进先出（FIFO）队列，默认大小为1MB。
    当主服务器进行命令传播时，它不仅会将写命令发送给所有从服务器，还会将写命令入队到复制积压缓冲区里面。

image.png

    因此，主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令，并且复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量

image.png
    当从服务器重新连上主服务器时，从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器，主服务器会根据这个复制偏移量来决定对从服务器执行何种同步操作∶
    如果offset偏移量之后的数据（也即是偏移量offset+1开始的数据）仍然存在于复制积压缓冲区里面，那么主服务器将对从服务器执行部分重同步操作。
    相反，如果offset 偏移量之后的数据已经不存在于复制积压缓冲区，那么主服务器将对从服务器执行完整重同步操作。
    按上面的例子的话：
    当从服务器A断线之后，它立即重新连接主服务器，并向主服务器发送PSYNC命令，报告自己的复制偏移量为 10086。主服务器收到从服务器发来的PSYNC命令以及偏移量10086之后，主服务器将检查偏移量10086之后的数据是否存在于复制积压缓冲区里面，结果发现这些数据仍然存在，于是主服务器向从服务器发送+CONTINUE回复，表示数据同步将以部分重同步模式来进行。
    接着主服务器会将复制积压缓冲区10086偏移量之后的所有数据（偏移量为10087至10119）都发送给从服务器。
    从服务器只要接收这33字节的缺失数据，就可以回到与主服务器一致的状态
image.png

注意：Redis默认的复制积压缓冲区大小是1MB，如果主服务器需要执行大量写命令，又或者主从服务器断线后重连接所需的时间比较长，这个大小就不合适了。
    复制积压缓冲区的最小大小可以根据公式second* write_size_per_second 来估算∶
    其中second为从服务器断线后重新连接上主服务器所需的平均时间（以秒计算）
    write_size_per_second则是主服务器平均每秒产生的写命令数据量（协议格式的写命令的长度总和）
    例如，如果主服务器平均每秒产生1MB的写数据，而从服务器断线之后平均要5秒才能重新连接上主服务器，那么复制积压缓冲区的大小就不能低于5MB。
    最好将复制积压缓冲区的大小设为 2 * second* write_size_per_second

服务器运行ID

    每个Redis服务器，不论主服务器还是从服务，都会有自己的运行 ID。
    运行ID在服务器启动时自动生成，由40个随机的十六进制字符组成，例如53b9b 28df8042fdc9ab5e3fcbbbabffld5dce2b3。

    从服务器对主服务器进行初次复制时，主服务器会将自己的运行ID传送给从服务器，而从服务器则会将这个运行 ID保存起来。
    当从服务器断线并重新连上一个主服务器时，从服务器将向当前连接的主服务器发送之前保存的运行 ID∶
    如果从服务器保存的运行ID和当前连接的主服务器的运行ID相同，那么说明从服务器断线之前复制的就是当前连接的这个主服务器，主服务器可以继续尝试执行部分重同步操作。
    相反地，如果从服务器保存的运行ID和当前连接的主服务器的运行 ID并不相同，那么说明从服务器断线之前复制的主服务器并不是当前连接的这个主服务器，主服务器将对从服务器执行完整重同步操作。