Redis分页查询缓存方案

常规分页查询缓存方案

我们都知道，通过缓存查询的结果，可以极大的提升系统的服务能力，以及降低底层服务或者是数据库的压力。
对于有分页条件的缓存，我们也可以按照不同的分页条件来缓存多个key，比如分页查询产品列表,page=1&limit=10和page=1&limit=5这两次请求可以这样缓存查询结果

• productList:page:1:limit:10
• productList:page:1:limit:5
  这个是一种常见方案，但是存在着一些问题：
• 缓存的value存在冗余，productList:page:1:limit:10缓存的内容其实是包括了productList:page:1:limit:5中的内容（缓存两个key的时候，数据未发生变化的情况下）
• 仅仅是改变了查询条件的分页条件，就会导致缓存未命中，降低了缓存的命中率
• 为了保证数据一致性，需要清理缓存的时候，很难处理，redis的keys命令对性能影响很大，会导致redis很大的延迟，生产环境一般来说禁止该命令。自己手动拼缓存key，你可能根本不知道拼到哪一个page为止。
• 放弃数据一致性，通过设置失效时间来自动失效，可能会出现查询第一页命中了缓存，查询第二页的时候未命中缓存，但此时数据已经发生了改变，导致第二页查询返回的和第一页相同的结果。
  以上，在分页条件下这样使用常规方案总感觉有诸多困扰，诸多麻烦，那是不是就应该放弃使用缓存？

基于SortedSet的分页查询缓存方案

首先想到的解决方法是使用@see ListOperations<K, V>不再根据分页条件使用多个key，而是使用一个key，也不分页将全部的数据缓存到redis中，然后按照分页条件使用range(key,start,limit)获取分页的结果，这个会导致一个问题，当缓存失效时，并发的写缓存会导致出现重复数据
所以想到通过使用set来处理并发时的重复数据，@see ZSetOperations<K, V>
代码逻辑如下：

1. range(key,start,limit)按照分页条件获取缓存，命中则直接返回
2. 缓存未命中，查询（没有分页条件）数据库或是调用（没有分页）底层接口
3. add(key,valueScoreMap<value,score>)写入缓存，expire设置缓存时间
4. 当需要清理缓存时，直接删除key，如果是因为数据新增和删除，可以add(key,value,score)或remove(key,value)

redis中会按照score分值升序排列map中的数据，一般的，score分值是sql语句的order by filedA的filedA的值，这样能保证数据一致性
但是这种方式也存在一定问题：

• 这个key缓存的value确实是热数据，但可能只有少数数据被频繁使用其余的可能根本就未被使用，比如数据有100页，实际可能只会用到前10页，这也会导致缓存空间的浪费，如果使用了redis虚拟内存，也会有一定影响
• sql查询由原来的分页查询变成了不分页查询，缓存失效后，系统的处理能力较之前会有下降，尤其是对于大表

总结

这两种方式互有利弊，具体使用还是要按照具体场景，合理选择！有更好的方案也欢迎讨论:-)