Redis原理及实践之Scan
2018-08-31 本文已影响0人
DDY26
3. scan vs keys
- keys扫描key的复杂度为O(N)，同样scan的复杂度也为O(n)
- scan提供limit参数，可以控制每次返回结果的最大条数
- scan同样提供pattern匹配的功能
- 服务器不需要为游标保存状态，游标的唯一状态就是 scan 返回给客户端的游标整数;
- 返回的结果可能会有重复，需要客户端去重复，这点非常重要;
- 遍历的过程中如果有数据修改，改动后的数据能不能遍历到是不确定的;
- 单次返回的结果是空的并不意味着遍历结束，而要看返回的游标值是否为零;
- scan命令使用示例
// 第一个参数指定游标，第二个参数指定匹配模式，第三个参数指定返回数据的条数
// 注意: count参数是限定服务器单次遍历的字典槽位数量，而不是限制返回key的数量
127.0.0.1:6379> scan 0 match key99* count 1000
1) "13976"
2) 1) "key9911"
2) "key9974"
3) "key9994"
4) "key9910"
5) "key9907"
6) "key9989"
7) "key9971"
8) "key99"
9) "key9966"
10) "key992"
11) "key9903"
12) "key9905"
127.0.0.1:6379> scan 13976 match key99* count 1000
1) "1996"
2) 1) "key9982"
2) "key9997"
3) "key9963"
4) "key996"
5) "key9912"
6) "key9999"
7) "key9921"
8) "key994"
9) "key9956"
10) "key9919"
127.0.0.1:6379> scan 1996 match key99* count 1000
1) "12594"
2) 1) "key9939"
2) "key9941"
3) "key9967"
4) "key9938"
5) "key9906"
6) "key999"
7) "key9909"
8) "key9933"
9) "key9992"
......
127.0.0.1:6379> scan 11687 match key99* count 1000
1) "0"
2) 1) "key9969"
2) "key998"
3) "key9986"
4) "key9968"
5) "key9965"
6) "key9990"
7) "key9915"
8) "key9928"
9) "key9908"
10) "key9929"
11) "key9944"...
- 关于scan命令为什么采用高位进位的方式进行遍历，可以参考: https://juejin.im/book/5afc2e5f6fb9a07a9b362527/section/5b3d97d9e51d4519634f8512，其主要目的是为了防止Hash扩容/缩容对key遍历造成影响。其实就是当前Hash空间遍历的一个槽位相当于扩容后Hash空间的两个槽位；当前Hash空间的两个槽位相当于缩容后Hash空间的一个槽位。采用高位进位加法的遍历方式在扩容/缩容后Hash空间的遍历顺序是相邻的。
- 渐进式rehash && scan
在rehash过程中，redis会同时保留旧数组和新数组，然后在定时任务中以及后续对 hash 的指令操作中渐渐地将旧数组中挂接的元素迁移到新数组上。这意味着要操作处于 rehash 中的字典，需要同时访问新旧两个数组结构。如果在旧数组下面找不到元素，还需要去新数组下面去寻找。scan 也需要考虑这个问题，对与 rehash 中的字典，它需要同时扫描新旧槽位，然后将结果融合后返回给客户端。 - redis 大key 定位
- scan扫描过程中定位大key
- redis自带的大key扫描命令
// 不带sleep的大key扫描 redis-cli -h 127.0.0.1 -p 7001 –-bigkeys // 带sleep的大key扫描, 每隔100条scan指令休眠0.1s redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1
