redis

redis 分片

2020-03-01  本文已影响0人  小蜗牛Aaron

为什么要分片

问题:公司用户量3千万,用户基本信息缓存到redis中,需要内存10G,如何设计Redis的缓存架构?

  1. 3千万用户,各种业务场景对用户信息的访问量很大。(单台redis示例的读写瓶颈凸显)
  2. 单redis实例管理10G内存,必然影响处理效率。
  3. redis的内存需求可能超过机器的最大内存。 (一台机器不够用)

官方集群方案

redis cluster是Redis的分布式集群解决方案,在3.0版本推出后有效地解决了redis分布式方面的需求
实现了数据在多个Redis节点之间自动分片、故障自动转移、扩容机制等功能


官方集群方案

搭建集群

  1. 准备6个独立的redis服务
  2. 通过redis-cli工具创建集群
  3. 检验集群
  4. 故障转移测试
  5. 集群扩容
  6. 集群节点删除

集群关心的问题

1、增加了slot槽的计算,是不是比单机性能差?

共16384个槽,slots槽计算方式公开的, HASH_SLOT = CRC16(key) mod 16384 。为了避免每次都需要服务器计算重定向,优秀的java客户端都实现了本地计算,并且缓存服务器slots分配,有变动时再更新本地内容,从而避免了多次重定向带来的性能损耗。(结合画图过程理解)

2、 redis集群大小,到底可以装多少数据?

理论是可以做到16384个槽,每个槽对应一个实例,但是redis官方建议是最大1000个实例。存储足够大了

3、 集群节点间是怎么通信的?

每个Redis群集节点都有一个额外的TCP端口,每个节点使用TCP连接与每个其他节点连接。检测和故障转移这些步骤基本和哨兵模式类似(毕竟是同一个软件,同一个作者设计)。

4、 ask和moved重定向的区别

重定向包括两种情况  若确定slot不属于当前节点,redis会返回moved。  若当前redis节点正在处理slot迁移,则代表此处请求对应的key暂时不在此节点,返回ask,告诉客户端本次请求重定向。

5、数据倾斜和访问倾斜的问题

倾斜导致集群中部分节点数据多,压力大。解决方案分为前期和后期:  前期是业务层面提前预测,哪些key是热点,在设计的过程中规避。  后期是slot迁移,尽量将压力分摊(slot调整有自动rebalance、reshard和手动)。

6、节点之间会交换信息,传递的消息包括槽的信息,带来带宽消耗。

注意:避免使用大的一个集群,可以分多个集群。

7、 Pub/Sub发布订阅机制

注意:对集群内任意的一个节点执行publish发布消息,这个消息会在集群中进行传播,其他节点接收到发布的消息。

8、读写分离

集群数据迁移方式

slot手动迁移怎么做?

迁移过程如下,大致描述如下:

集群从节点迁移

Redis集群实现了一个叫做复制(从节点)迁移的概念以提高系统的可用性
假设集群有三个主节点 A,B,C。 A、B都各有一个从节点,A1 和 B1。节点C有两个从节点:C1 和 C2
迁移过程如下,大致描述如下:

上一篇 下一篇

猜你喜欢

热点阅读