redis底层数据结构-SDS

SDS结构

simple dynamic string（SDS）简单动态字符串是redis string底层的数据结构，定义如下：

struct sdshdr {
    // 记录buf数组中已使用字节的数量
    // 等于SDS所保存字符串的长度
    int len;
    // 记录buf数组中未使用字节的数量
    int free;
    // 字节数组，用于保存字符串
    char buf[];
}

图示如下：

image.png

SDS遵循C字符串以空字符结尾的惯例，保存空字符的1字节空间不计算在SDS的len中，这样使得SDS可以重用一部分C字符串函数库中的函数。

SDS和C字符串的区别

C语言使用长度为n+1的字符数组表示长度为n的字符串，且字符数组的最后一个元素总是空字符 \0 。

获取长度方面：

• C字符串需要O(N)时间复杂度的遍历
• SDS以O(1)时间复杂度直接读取len属性即可

缓冲区溢出方面：

• 对C字符串的拼接操作，如不实现判断目标字符串数组的长度，可能造成溢出
• 为SDS的拼接操作，会判断free属性，杜绝溢出

SDS有效减少修改操作带来的内存重分配次数：

• C字符串底层是N+1的字符数组，这种关联性，使得每次增加或者缩短一个C字符串，都需要对字符数组进行一次内存重分配。
  • 拼接操作需要先增加底层字符数组的大小
  • 缩减操作需要释放不再使用的字符数组部分，末尾填\0 。
• SDS使用空间预分配和惰性删除解决上述C字符串的的问题

SDS的动态性

空间预分配

空间预分配用于优化SDS的字符串增长操作：使用SDS的api对SDS进行空间扩展时，不仅会分配修改所必须的空间，还会为SDS分配额外的未使用空间：

• 修改后，SDS的长度（len属性）小于1M，此时将会分配和len属性同样大小的未使用空间，len属性和free属性值相同。如，某次修改后，SDS的len=13字节，那么会额外分配给buf数组未使用的13字节（free=13字节），buf数组实际长度=13+13+1=27字节（额外的\0 ）
• 修改后，若SDS len大于1M，那么会分配外的1M未使用空间。

通过空间预分配策略，减少连续执行字符串增长操作所需的内存重分配次数。

对存储了 Redis 的SDS，增加 Cluster 前后SDS的对比如下：

image.png image.png

惰性空间释放

惰性空间释放用于优化SDS字符串的缩短操作：通过SDS的api缩短保存的字符串时，程序不会立即使用内存重分配来回收多出来的字节，而是使用free属性记录起来，待以后使用，为将来可能有的增长操作提供优化。

同时，SDS也提供相应的API，在有需要时，真正释放SDS未使用的空间。