REDIS清理死键

背景

在做一些项目的过程中，有些项目对于后端数据的接口请求时间要求更高，数据存储读取较频繁，一般的mysql数据库不能支持这种需求，所以对于这类项目，一般采用内存型数据库存储-redis。
而对于redis，它相比于mysql资源成本是更高的，因此redis适合存储一些重要或者紧要的数据。
在这类项目运行久了之后，一些老的key会不断在redis里积压，导致redis内存越来越高，对redis的使用效率产生影响，因此需要对于redis数据进行定期清理。
这个项目是对于redis中的key进行筛选，查找到轮转时间(长期没有使用的时间)大于某个阈值的key，并将它做一些清理落地处理。

项目地址

github地址

命令科普

• 死键
  所谓死键，在redis里有两个定义。
  1. 死键是指redis中的key超过过期时间，但是没有在内存中被实际删除的key。
     PS: 这种情况是可能发生的，在redis中过期键的删除有两种策略，一般采用的是定期删除（比如每s删除10个），这样的话，如果我们过期键产生的速度是大于删除的速度，则会产生死键。
  2. 死键是指在redis中长期未被访问的key(需要根据业务需求，查看能否删除)
• 轮转时间
  轮转时间即idletime,是指该key有多长时间没有被访问过(单位 s)。
  OBJECT IDLETIME KEY image.png
• 其他命令

SCAN key start match * count 1000 # 增量迭代 遍历redis
get key # string类型
LRANGE key 0 -1 #list 类型
SMEMBERS key #set 类型
HGETALL key # hash 类型
ZRANGE key 0 -1 WITHSCORES # zset 类型

项目实现

语言：shell+lua

• shell脚本

redisCom="redis-cli -p 3310 -a password"
start=0
fileNamePre="unUseData_"

time=$(date "+%Y-%m-%d %H:%M:%S")
echo "拆分执行 开始时间：${time} 开始索引 ${start}"
data=`${redisCom} --eval getUnusedData2.0.lua , ${start}`
echo ${data} | sed 's/ /  \n/g' > "${fileNamePre}""${start}"
start=`echo ${data} | cut -d ' ' -f1`
time=$(date "+%Y-%m-%d %H:%M:%S")
echo "拆分执行 结束时间：${time}"

while(( $start>0 ))
do
    time=$(date "+%Y-%m-%d %H:%M:%S")
    echo "拆分执行 开始时间：${time} 开始索引 ${start}"
    data=`${redisCom} --eval getUnusedData2.0.lua , ${start}`
    echo ${data} | sed 's/ /  \n/g' > "${fileNamePre}""${start}"
    start=`echo ${data} | cut -d ' ' -f1`
    time=$(date "+%Y-%m-%d %H:%M:%S")
    echo "拆分执行 结束时间：${time}"
done

time=$(date "+%Y-%m-%d %H:%M:%S")
echo "结束时间：${time}"

shell脚本主要是做一个触发作用，循环调用getUnusedData2.0的LUA脚本。LUA脚本的目的就是每次遍历10000条数据，找到死键，然后做相应处理。返回值如果为0表示redis遍历完毕，都则继续进行遍历。
最后shell将遍历后的结果进行简单切割处理后，存储至文件。

• LUA脚本-getUnusedData2.0

-- 获取在临界时间外的数据
local function getUnuseData()
    data = nextCycle(start, count, match)
    start = tonumber(data[1])

    --开始判断
    for key,value in pairs(data[2])
    do
        local curTime = 0
        curTime =  getIdleTime(value)
        if(curTime > maxTime)
        then
            local delData = {}
            delData[1]  = value
            delData[2]  = curTime
            delData[3] , delData[4]  = getkey(value)
            --return delData
            --delKey(value)
            table.insert(keyData , delData)
            --delKey(value)
        end
    end

    return keyData , start
end

具体操作可以查看github源代码

• LUA脚本-createRaw

-- 测试使用 为数据库创建随机数据

-- 随机数
local num = 1000000

local function createRaw(num)
    local value = math.random(num)
    local key = "create_rew_data_"..tostring(math.random(num))
    --local value = math.randomseed(num)
    --return value
    return redis.call("SET" , key, value)
end

math.randomseed(num)
--return num
--return createRaw(num)

for i=num,1,-1
do
    createRaw(num)
end

目的是为了测试，在自己测试库中写入随机数据。

项目运行

• 生成随机数据
  redis-cli --eval createRawData.lua
  生成63万数据
  image.png

• 查找数据
  只查找符合要求的数据，因为我们数据都是新生成的，所以我们设置阈值时间为0，一次查找10000条数据。
  修改如下：

  
  image.png

  运行脚本 耗时16s

  
  image.png image.png

• 查找并落地数据+删除
  删掉注释，开始删除数据

  
  image.png
  

  运行程序,用时26s 原因（生成数据value均为数字，存储很快）:

  
  image.png image.png