Redis3.2源码分析-整数集合intset
intset是Redis集合的底层实现之一,当存储整数集合并且数据量较小的情况下Redis会使用intset作为set的底层实现。当数据量较大或者集合元素为字符串时则会使用dict实现set。
intset将整数元素按顺序存储在数组里,并通过二分法降低查找元素的时间复杂度。数据量大时,依赖于“查找”的命令(如SISMEMBER)就会由于O(logn)的时间复杂度而遇到一定的瓶颈,所以数据量大时会用dict来代替intset。但是intset的优势就在于比dict更省内存,而且数据量小的时候O(logn)未必会慢于O(1)的hash function。这也是intset存在的原因。
intset结构体声明
intset的结构体非常简单
typedef struct intset {
uint32_t encoding; //intset的类型编码
uint32_t length; //成员元素的个数
int8_t contents[];//用来存储成员的柔性数组
}
需要注意contents数组成员被声明为int8_t类型并不表示contents里存的是int8_t类型的成员,这个类型声明对于contents来说可以认为是毫无意义的,因为intset成员是什么类型完全取决于encoding变量的值。encoding提供下面三种值:
#define INTSET_ENC_INT16 (sizeof(int16_t))
#define INTSET_ENC_INT32 (sizeof(int32_t))
#define INTSET_ENC_INT64 (sizeof(int64_t))
如果intset的encoding为INTSET_ENC_INT16,则contents的每个成员的“逻辑类型”都为int16_t。
虽然每个成员的“实际类型”是int8_t,无法直接通过contents[x]取出索引为x的成员元素,但是intset.c里提供了些函数,可以按照不同的encoding方式设置/取出contents的成员。(用指针设置,memcpy取出)
由于这种方法在内存上暴力地赋值与取值,所以希望元素在不同机器上存储的字节序一致,但是不同处理器 在内存中存放数据的方式不一定相同,主要分为大端字节序和小端字节序。快速复习字节序:不论大端小端,内存中数据按照8位(1字节)分割。大端字节序就是高位的字节存放在低地址处;小端字节序就是高位的字节存放在高地址处。举个例子:
int d = 1415926;
整数d对应的16进制表示是0x159AF6。8个二进制位可以被2个十六进制位表示,所以15、9A、F6各是一个字节,15是高位字节,F6是低位字节。
大端的处理器在内存中这样存放d:
而小端的处理器在内存中这样存放d:
如果老老实实通过contents[x]的方式赋值取值,我们就不需要考虑这个字节序的问题,但是intset根据encoding的值指定元素的地址偏移,暴力地对内存进行操作。若数据被截断了,则大端机器和小端机器会表现出不统一的状况。为了避免这种情况发生,intset不管在什么机器上都按照同一种字节序(小端)在内存中存intset的成员变量。
/* variants of the function doing the actual convertion only if the target
* host is big endian */
#if (BYTE_ORDER == LITTLE_ENDIAN)
#define memrev16ifbe(p)
#define memrev32ifbe(p)
#define memrev64ifbe(p)
#define intrev16ifbe(v) (v)
#define intrev32ifbe(v) (v)
#define intrev64ifbe(v) (v)
#else
#define memrev16ifbe(p) memrev16(p)
#define memrev32ifbe(p) memrev32(p)
#define memrev64ifbe(p) memrev64(p)
#define intrev16ifbe(v) intrev16(v)
#define intrev32ifbe(v) intrev32(v)
#define intrev64ifbe(v) intrev64(v)
#endif
//翻转
void memrev64(void *p) {
unsigned char *x = p, t;
t = x[0];
x[0] = x[7];
x[7] = t;
t = x[1];
x[1] = x[6];
x[6] = t;
t = x[2];
x[2] = x[5];
x[5] = t;
t = x[3];
x[3] = x[4];
x[4] = t;
}
uint64_t intrev64(uint64_t v) {
memrev64(&v);
return v;
}
intset基本操作
底层赋值/取值操作
通过_intsetSet和_intsetGet这两个工具函数,可以根据intset的encoding 读/写contents里索引为pos的值。这是后续intset操作的基础。
/* Set the value at pos, using the configured encoding. */
//按照intset的encoding设置指定位置pos的值
static void _intsetSet(intset *is, int pos, int64_t value) {
uint32_t encoding = intrev32ifbe(is->encoding);
if (encoding == INTSET_ENC_INT64) {
((int64_t*)is->contents)[pos] = value;
//大端机器在设置contents时将数据按字节翻转,按照小端序存储
memrev64ifbe(((int64_t*)is->contents)+pos);
} else if (encoding == INTSET_ENC_INT32) {
((int32_t*)is->contents)[pos] = value;
memrev32ifbe(((int32_t*)is->contents)+pos);
} else {
((int16_t*)is->contents)[pos] = value;
memrev16ifbe(((int16_t*)is->contents)+pos);
}
}
/* Return the value at pos, using the configured encoding. */
//按照intset的encoding取出指定位置pos的值
//不对pos进行越界判断,可能会导致undefined behavior
static int64_t _intsetGet(intset *is, int pos) {
return _intsetGetEncoded(is,pos,intrev32ifbe(is->encoding));
}
/* Return the value at pos, given an encoding. */
//以enc为编码取出整数集合is在pos索引上的值
//不对pos进行越界判断,可能会导致undefined behavior
static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
int64_t v64;
int32_t v32;
int16_t v16;
if (enc == INTSET_ENC_INT64) {
//将contents在pos位置的值赋给v64
//不能直接写contents[pos]的原因是contents时int8_t类型的,contents[pos]表示是以sizeof(int8_t)为单位移动的指针,而实际的编码是INTSET_ENC_INT64,先将contents指针的类型变为int64_t*
memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64));
//大端机器在取出contents时将原本按照小端序存储的数据按字节翻转,读出正确的值
memrev64ifbe(&v64);
return v64;
} else if (enc == INTSET_ENC_INT32) {
memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
memrev32ifbe(&v32);
return v32;
} else {
memcpy(&v16,((int16_t*)is->contents)+pos,sizeof(v16));
memrev16ifbe(&v16);
return v16;
}
}
创建一个空intset
空intset的默认encoding是INTSET_ENC_INT16,contents每个成员的逻辑类型是int16_t(虽然还没有成员)
/* Create an empty intset. */
intset *intsetNew(void) {
intset *is = zmalloc(sizeof(intset));
is->encoding = intrev32ifbe(INTSET_ENC_INT16);
is->length = 0;
return is;
}
查询一个成员
前面说了intset是将元素按大小顺序存储在contents数组里,所以在插入新元素之前,必须通过二分法找到合理的插入位置,这由intsetSearch(intset *is, int64_t value, uint32_t *pos)函数实现。
它的作用是在整数集合里用二分法找到value的位置,并把位置写给pos参数,函数返回1;若没找到,则写给pos的是能被插入的value的位置(intset按顺序存储),函数返回0。
static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
int64_t cur = -1;
/* The value can never be found when the set is empty */
if (intrev32ifbe(is->length) == 0) {
if (pos) *pos = 0;
return 0;
} else {
/* Check for the case where we know we cannot find the value,
* but do know the insert position. */
//判断是否大于小于边界值
if (value > _intsetGet(is,intrev32ifbe(is->length)-1)) {
if (pos) *pos = intrev32ifbe(is->length);//value可以被插入的位置
return 0;
} else if (value < _intsetGet(is,0)) {
if (pos) *pos = 0;
return 0;
}
}
//二分
while(max >= min) {
mid = ((unsigned int)min + (unsigned int)max) >> 1;
cur = _intsetGet(is,mid);
if (value > cur) {
min = mid+1;
} else if (value < cur) {
max = mid-1;
} else {
break;
}
}
if (value == cur) {
if (pos) *pos = mid;//找到了
return 1;
} else {
if (pos) *pos = min;
return 0;
}
}
插入一个成员
插入一个值为value的成员时,会做以下判断逻辑:
- 计算value的encoding
- 若value的encoding大于要插入的intset的encoding,则调用intsetUpgradeAndAdd直接升级intset的encoding并插入到首部或者尾部。
- 若value的encoding小于要插入的intset的encoding,则不需要升级intset的encoding,调用intsetSearch找到合适的插入位置,再将该位置到contents尾部的数据全部右移一格,最后将value插入到pos。
代码如下
/* Insert an integer in the intset */
//success传null进来则说明外层调用者不需要知道是否插入成功(value是否已存在),否则success用于此目的
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
uint8_t valenc = _intsetValueEncoding(value);//根据value的大小计算value的encoding
uint32_t pos;
if (success) *success = 1;
/* Upgrade encoding if necessary. If we need to upgrade, we know that
* this value should be either appended (if > 0) or prepended (if < 0),
* because it lies outside the range of existing values. */
if (valenc > intrev32ifbe(is->encoding)) {
//这种插入需要改变encoding(不需要search,因为encoding改变说明value一定插入在contents首部或者尾部)
/* This always succeeds, so we don't need to curry *success. */
return intsetUpgradeAndAdd(is,value);
} else {
/* Abort if the value is already present in the set.
* This call will populate "pos" with the right position to insert
* the value when it cannot be found. */
if (intsetSearch(is,value,&pos)) {
if (success) *success = 0;//intset里已存在该值,返回失败
return is;
}
is = intsetResize(is,intrev32ifbe(is->length)+1);
if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);//右移一格
}
_intsetSet(is,pos,value);//插入值
is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
return is;
}
/* Return the required encoding for the provided value. */
//根据v值的大小决定需要的编码类型
static uint8_t _intsetValueEncoding(int64_t v) {
if (v < INT32_MIN || v > INT32_MAX)
return INTSET_ENC_INT64;
else if (v < INT16_MIN || v > INT16_MAX)
return INTSET_ENC_INT32;
else
return INTSET_ENC_INT16;
}
/* Upgrades the intset to a larger encoding and inserts the given integer. */
//这个函数执行的前提是value参数的大小超过了当前编码
//为is->content重新分配内存并修改编码添加value进这个intset
static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
uint8_t curenc = intrev32ifbe(is->encoding);//当前编码类型
uint8_t newenc = _intsetValueEncoding(value);//新的编码类型
int length = intrev32ifbe(is->length);
int prepend = value < 0 ? 1 : 0;//因为value一定超过了编码的限制,所以看value是大于0还是小于0以此决定value放置在content[0]还是content[length]
/* First set new encoding and resize */
is->encoding = intrev32ifbe(newenc);
is = intsetResize(is,intrev32ifbe(is->length)+1);
/* Upgrade back-to-front so we don't overwrite values.
* Note that the "prepend" variable is used to make sure we have an empty
* space at either the beginning or the end of the intset. */
while(length--)
//以curenc为编码倒序取出所有值并赋值给新的位置
_intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));
/* Set the value at the beginning or the end. */
if (prepend)
_intsetSet(is,0,value);
else
_intsetSet(is,intrev32ifbe(is->length),value);
is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
return is;
}
/* Resize the intset */
//解除is的内存分配并重新分配长度为len的intset的内存
static intset *intsetResize(intset *is, uint32_t len) {
uint32_t size = len*intrev32ifbe(is->encoding);
is = zrealloc(is,sizeof(intset)+size);
return is;
}
//把from索引到intset尾部的整块数据复制to索引(复制之后from值不变,但是可以被覆盖)
static void intsetMoveTail(intset *is, uint32_t from, uint32_t to) {
void *src, *dst;
uint32_t bytes = intrev32ifbe(is->length)-from;
uint32_t encoding = intrev32ifbe(is->encoding);
if (encoding == INTSET_ENC_INT64) {
src = (int64_t*)is->contents+from;
dst = (int64_t*)is->contents+to;
bytes *= sizeof(int64_t);
} else if (encoding == INTSET_ENC_INT32) {
src = (int32_t*)is->contents+from;
dst = (int32_t*)is->contents+to;
bytes *= sizeof(int32_t);
} else {
src = (int16_t*)is->contents+from;
dst = (int16_t*)is->contents+to;
bytes *= sizeof(int16_t);
}
memmove(dst,src,bytes);
}
移除一个成员
不同于插入一个成员,移除一个成员时不会改变intset的encoding,尽管移除这个成员之后所有成员的encoding都小于所在intset的encoding。
/* Delete integer from intset */
intset *intsetRemove(intset *is, int64_t value, int *success) {
uint8_t valenc = _intsetValueEncoding(value);
uint32_t pos;
if (success) *success = 0;
//valenc不可能大于当前编码,否则value一定不在该intset中
if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {
uint32_t len = intrev32ifbe(is->length);
/* We know we can delete */
if (success) *success = 1;
/* Overwrite value with tail and update length */
if (pos < (len-1)) intsetMoveTail(is,pos+1,pos);
is = intsetResize(is,len-1);//减小内存分配
is->length = intrev32ifbe(len-1);//size-1
}
return is;
}
总结
通过intset底层实现我们可以发现:基于顺序存储的整数集合 执行一些需要用到查询的命令时 其时间复杂度不会是文档里注明O(1),例如:SADD、SREM 操作一个成员时,时间复杂度会是O(logn)。所以当整数集合数据量变大的时候,redis会用dict作为集合的底层实现,将SADD、SREM、SISMEMBER这些命令的时间复杂度降至O(1),当然,这会比intset消耗更多内存。