intset

intset 源码分析(整数集合,Set 底层之一)

intset 解决的问题:Set 里全是整数且数量不多时,用 dict 存要为每个元素付出 entry 指针、哈希桶数组等几十字节的开销,太亏。它的思路是把整数升序放进一块连续内存,查找靠二分,去重靠插入前先查一遍,元素宽度按需升级(int16 → int32 → int64),一堆小整数就真的每个只占 2 字节。

结构与编码

代码块C · 59 行收起展开
// 基于本地 Redis 仓 (unstable), src/intset.h + src/intset.c
typedef struct intset {
    uint32_t encoding;  // 当前元素宽度(2/4/8 字节),全体元素统一宽度,不搞变长
    uint32_t length;    // 元素个数
    int8_t contents[];  // 柔性数组:升序存放,没有任何 entry 头,元素之间零间隙
} intset;
// contents 声明成 int8_t 只是"按字节看"的占位,读写时按 encoding 强转成 int16/32/64 指针再定位

/* Note that these encodings are ordered, so:
 * INTSET_ENC_INT16 < INTSET_ENC_INT32 < INTSET_ENC_INT64. */
#define INTSET_ENC_INT16 (sizeof(int16_t))  // 编码值直接用字节宽度 2/4/8:天然有序,比大小即比宽窄,还能直接参与乘法算偏移
#define INTSET_ENC_INT32 (sizeof(int32_t))
#define INTSET_ENC_INT64 (sizeof(int64_t))

/* Return the required encoding for the provided value. */
static uint8_t _intsetValueEncoding(int64_t v) {
    if (v < INT32_MIN || v > INT32_MAX)
        return INTSET_ENC_INT64;
    else if (v < INT16_MIN || v > INT16_MAX)
        return INTSET_ENC_INT32;
    else
        return INTSET_ENC_INT16;
}

/* Return the value at pos, given an encoding. */
static int64_t _intsetGetEncoded(intset *is, int pos, uint8_t enc) {
    int64_t v64;
    int32_t v32;
    int16_t v16;

    if (enc == INTSET_ENC_INT64) {
        memcpy(&v64,((int64_t*)is->contents)+pos,sizeof(v64));  // 强转指针只为算步长,取值走 memcpy:某些平台未对齐访问会直接崩
        memrev64ifbe(&v64);     // ifbe = if big endian:内存里统一按小端存,大端机读写时翻转,小端机上是空操作
        return v64;
    } else if (enc == INTSET_ENC_INT32) {
        memcpy(&v32,((int32_t*)is->contents)+pos,sizeof(v32));
        memrev32ifbe(&v32);
        return v32;
    } else {
        // ... int16 分支同构
    }
}
// _intsetGet(is,pos) 就是 _intsetGetEncoded(is,pos,当前encoding);_intsetSet(is,pos,value) 反向写入同一套宽度分发,略

/* Create an empty intset. */
intset *intsetNew(void) {
    intset *is = zmalloc(sizeof(intset));
    is->encoding = intrev32ifbe(INTSET_ENC_INT16);  // 从最窄的 int16 起步,之后只升不降
    is->length = 0;
    return is;
}

/* Resize the intset */
static intset *intsetResize(intset *is, uint32_t len) {
    uint64_t size = (uint64_t)len*intrev32ifbe(is->encoding);   // 先提升到 64 位再乘,防 32 位溢出
    assert(size <= SIZE_MAX - sizeof(intset));
    is = zrealloc(is,sizeof(intset)+size);  // 精确分配,不预留冗余容量(对比 Java ArrayList 的 1.5 倍扩容)
    return is;
}

查找与插入

代码块C · 142 行收起展开
// 基于本地 Redis 仓 (unstable), src/intset.c
/* Search for the position of "value". Return 1 when the value was found and
 * sets "pos" to the position of the value within the intset. Return 0 when
 * the value is not present in the intset and sets "pos" to the position
 * where "value" can be inserted. */
static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
    int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
    int64_t cur = -1;

    /* The value can never be found when the set is empty */
    if (intrev32ifbe(is->length) == 0) {
        if (pos) *pos = 0;
        return 0;
    } else {
        /* Check for the case where we know we cannot find the value,
         * but do know the insert position. */
        if (value > _intsetGet(is,max)) {   // 比最大还大直接尾插:SADD 递增 ID 是最常见模式,把它从 O(logN) 压到 O(1)
            if (pos) *pos = intrev32ifbe(is->length);
            return 0;
        } else if (value < _intsetGet(is,0)) {
            if (pos) *pos = 0;
            return 0;
        }
    }

    while(max >= min) {
        mid = ((unsigned int)min + (unsigned int)max) >> 1; // 转 unsigned 再移位,防 min+max 溢出成负数(JDK 二分用 >>> 修的同一个坑)
        cur = _intsetGet(is,mid);
        if (value > cur) {
            min = mid+1;
        } else if (value < cur) {
            max = mid-1;
        } else {
            break;
        }
    }

    if (value == cur) {
        if (pos) *pos = mid;
        return 1;
    } else {
        if (pos) *pos = min;    // 没找到时 min 恰好是插入点,intsetAdd 拿它直接落位,不用二次定位
        return 0;
    }
}

/* Upgrades the intset to a larger encoding and inserts the given integer. */
static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
    uint8_t curenc = intrev32ifbe(is->encoding);
    uint8_t newenc = _intsetValueEncoding(value);
    int length = intrev32ifbe(is->length);
    int prepend = value < 0 ? 1 : 0;    // 触发升级的值必然越界:负数比谁都小放头,正数比谁都大放尾,位置靠推理,不用二分

    /* First set new encoding and resize */
    is->encoding = intrev32ifbe(newenc);
    is = intsetResize(is,intrev32ifbe(is->length)+1);   // 原地 realloc 到新宽度,此刻旧数据还按窄宽度挤在缓冲区前段

    /* Upgrade back-to-front so we don't overwrite values.
     * Note that the "prepend" variable is used to make sure we have an empty
     * space at either the beginning or the end of the intset. */
    while(length--)     // 从尾往头搬:新偏移恒大于旧偏移,正序搬会踩掉还没读的旧数据
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));  // 按旧宽度读、按新宽度写

    /* Set the value at the beginning or the end. */
    if (prepend)
        _intsetSet(is,0,value); // prepend=1 时上面搬运整体右移了一格,下标 0 正好空出来
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

static void intsetMoveTail(intset *is, uint32_t from, uint32_t to) {
    void *src, *dst;
    uint32_t bytes = intrev32ifbe(is->length)-from;
    uint32_t encoding = intrev32ifbe(is->encoding);

    if (encoding == INTSET_ENC_INT64) {
        src = (int64_t*)is->contents+from;
        dst = (int64_t*)is->contents+to;
        bytes *= sizeof(int64_t);
    } else if (encoding == INTSET_ENC_INT32) {
        // ... int32 / int16 分支同构,只是步长不同
    }
    memmove(dst,src,bytes);     // 源与目标区间重叠,必须 memmove;memcpy 在重叠时是未定义行为
}

/* Insert an integer in the intset */
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
    uint8_t valenc = _intsetValueEncoding(value);
    uint32_t pos;
    if (success) *success = 1;

    /* Upgrade encoding if necessary. If we need to upgrade, we know that
     * this value should be either appended (if > 0) or prepended (if < 0),
     * because it lies outside the range of existing values. */
    if (valenc > intrev32ifbe(is->encoding)) {  // 编码值就是字节宽度,一次比较判定要不要升级
        /* This always succeeds, so we don't need to curry *success. */
        return intsetUpgradeAndAdd(is,value);   // 必成功:需要升级的值超出旧编码范围,不可能已存在,连查重都省了
    } else {
        /* Abort if the value is already present in the set.
         * This call will populate "pos" with the right position to insert
         * the value when it cannot be found. */
        if (intsetSearch(is,value,&pos)) {
            if (success) *success = 0;  // Set 的去重就发生在这里:先查后插
            return is;
        }

        is = intsetResize(is,intrev32ifbe(is->length)+1);
        if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);   // pos 起的尾段整体右移一格腾位,O(N) 是有序数组的代价
    }

    _intsetSet(is,pos,value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

/* Delete integer from intset */
intset *intsetRemove(intset *is, int64_t value, int *success) {
    uint8_t valenc = _intsetValueEncoding(value);
    uint32_t pos;
    if (success) *success = 0;

    if (valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,&pos)) {  // 编码比当前还宽的值必不存在,剪枝后才二分
        uint32_t len = intrev32ifbe(is->length);

        /* We know we can delete */
        if (success) *success = 1;

        /* Overwrite value with tail and update length */
        if (pos < (len-1)) intsetMoveTail(is,pos+1,pos);    // 尾段左移一格覆盖被删元素
        is = intsetResize(is,len-1);    // 内存立刻收缩,但 encoding 永不降级:删光大数也回不到 int16
        is->length = intrev32ifbe(len-1);
    }
    return is;
}

/* Determine whether a value belongs to this set */
uint8_t intsetFind(intset *is, int64_t value) {
    uint8_t valenc = _intsetValueEncoding(value);
    return valenc <= intrev32ifbe(is->encoding) && intsetSearch(is,value,NULL);  // 同样先按编码剪枝,剪掉时连 contents 都不用碰
}

原理串讲

以一次 SADD nums 100000 为例,假设集合当前是 int16 编码、存着 {1, 5, 300}。
入口 intsetAdd 先用 _intsetValueEncoding(100000) 算出这个值需要 INT32,跟当前编码一比(编码值就是字节宽度,所以能直接用 > 比)发现要升级,转进 intsetUpgradeAndAdd
升级先把 header 的 encoding 改成 4,再 intsetResize 原地 realloc 出 4 个 int32 的空间——注意此刻旧的三个 int16 还按 2 字节一个挤在缓冲区前 6 个字节里。
接着 while 循环从最后一个元素往前搬:_intsetGetEncoded(is, 2, curenc) 按旧宽度读出 300,_intsetSet(is, 2, 300) 按新宽度写到新位置。
为什么必须从尾往头搬?因为新编码更宽,元素 i 的新偏移 i*4 恒大于旧偏移 i*2,正序搬的话写元素 0 的 4 字节就会覆盖元素 1 还没读的旧数据;倒序保证每次写入的目标区间都落在”尚未读取的旧数据”右侧。
为什么升级插入连二分都不做?prepend = value < 0 ? 1 : 0 这行是答案:能触发升级的值必然超出旧编码的表示范围,而旧集合所有值都在范围内,所以新值要么严格大于全部(正数,追加到尾),要么严格小于全部(负数,搬运时整体右移一格空出下标 0)——插入位置是推理出来的。

不升级的常规路径走 intsetSearch 二分。二分前有个快速通道:先跟最后一个元素比,比它还大就直接返回插入点 = length。
这不是随手优化,SADD 递增 ID 是真实业务里最常见的插入模式,这一步把最常见情况压成 O(1)。
没找到时 *pos = min 恰好是插入点,intsetResize 扩一格,intsetMoveTail(is,pos,pos+1) 用 memmove 把尾段整体右移,最后 _intsetSet 落位;找到了就置 success=0 直接返回,Set 的去重语义靠”先查后插”实现。
查询链路 intsetFind(SISMEMBER 底下)更短:先做 _intsetValueEncoding(value) <= 当前编码 的剪枝,一个需要 int64 的值不可能存在于 int16 集合里,一次比较就返回。

贯穿全部代码的 intrev32ifbe / memrev64ifbe 值得单独说:intset 规定内存里永远按小端字节序存(包括 header 的 encoding 和 length),大端机上每次读写都翻转。
为什么这么设计?因为 intset 是整块内存直接进 RDB / DUMP 序列化的,统一字节序后小端机器 dump 出的数据大端机器能直接加载;而 x86/ARM 这些小端平台上宏展开为空,零成本。

设计取舍

  • 有序数组换掉哈希表:查 O(logN)、插删 O(N),但 512 个元素以内这点开销远小于 dict 每个 entry 几十字节的指针与桶开销——intset 一个指针都没有,负载因子 100%。
  • 编码只升不降:降级要 O(N) 扫全表确认剩余最大宽度再整体重搬,收益小场景罕见;代价是混进过一个 int64 的集合从此每元素 8 字节,删掉那个大数也回不去。
  • 每次插入删除都精确 realloc、零预留容量:内存优先于写入速度,这是”小集合专用结构”的定位使然。
  • 升级路径不查重:触发升级的值必然不在旧集合里,intsetUpgradeAndAdd 无条件成功,省一次二分。
  • intset 只是 Set 的过渡态:元素超过 set-max-intset-entries(默认 512)或塞进非整数就单向转成 listpack / hashtable 编码,转出去不会转回来。

延伸阅读