Redis Cluster 学习

2020-04-18 本文已影响0人 hbhey

定义

Redis Cluster 将数据分布到不同的节点当中，以解决Redis使用过程中的容量问题（单个Redis内存无法无限扩充），并发问题（官方称当个Redis可以使用10万并发），高可用问题（部分节点不可达能继续处理命令）。 Redis 集群常常和主从复制结合使用。

分布式数据库 - 数据分区

哈希分区

假如有1~100条数据，按照哈希函数（例如 hash(key)%3），把数据分区到不同的三个数据库

节点取余分区： hash(key) % nodes。若增加/减少节点，会进行大量数据迁移，例如当前有3个节点，增加了一个节点，按照新的hash(key) % 4进行计算时，很多数据需要进行移动。建议进行多倍扩容，例如当前有3个节点，可以扩容到6个节点，减少数据迁移量。节点取余也成为不一致性哈希。比较适合缓存的场景
一致性哈希分区
能保证最小迁移数据，比较适合缓存的场景 - 一致性哈希分区
虚拟槽分区：Redis cluster采用此种分区方式，预设虚拟槽（slot），每个虚拟槽映射一个数据子集，每个节点管理一定数量的虚拟槽，redis 虚拟槽范围 0 ~ 16383。
使用分散函数（例如CRC16(keys) % slots ）计算出 keys 属于哪个槽，再根据节点所管理的槽的范围，从而确定数据属于哪个节点（节点中共享信息，若一个虚拟槽不属于当前节点，会告诉虚拟操去哪个节点去存储）

虚拟槽分区.png

顺序分区

假如有1 ~ 100条数据，按照顺序分区规则，可以把1 ~ 33，34 ~ 66，67 ~ 100分区到三个不同的三个数据库

方式对比

分区比较.png

Cluster 架构 cluster架构.png

通过配置文件 cluster-enabled yes 将一个节点设置为一个集群节点
节点之间通过gossip协议进行通信，了解彼此的信息
将虚拟槽指派给上述节点
客户端通过 CRC16( key ) % 16383 并可知道对应的key应该到哪个虚拟槽的哪个节点进行处理

安装

配置集群节点

cluster-enabled yes # 配置当前节点为集群节点
cluster-config-file nodes-${port}.conf # 配置cluster节点自身配置文件
cluster-node-timeout 15000 # 集群中各个节点相互通讯（ping）时，允许"失联"的最大毫秒数，如果超过这个时间没有得到响应，会认为该节点故障，若节点是主节点，则会进行故障转移
cluster-require-full-coverage yes # 若配置为 yes，则当集群中有节点不可用时，整个集群都不能提供服务，通常设置为 no

通过meet把每个集群节点组合成集群 - 集群发现

cluster meet ip port #当前节点去发现新的集群节点
发现集群.png

分配槽

cluster addslots slot [slot…] # 为当前节点分配槽

# addslots.sh
# 开始槽
start=$1
# 结束槽
end=$2
# 分配端口
port=$3
for slot in `seq ${start} ${end}`
do
   echo "slot:${slot}"
   redis-cli -p ${port} cluster addslots ${slot}
done

# 分配操作
sh addslots 0 5461 7000
sh addslots 5462 10923 7001
sh addslots 10923 16383 7002

在第二步中配置了6个集群节点，但是只为7000 ~ 7002分配槽，7000 ~ 7002作为master，其余作为slave节点

配置主从关系

cluster replicate node-id # 对 node-id节点进行复制，node-id在集群启动时会进行分配。
cluster nodes # 查看node-id
配置主从关系.png

Ruby配置集群 -除了上述安装方式，官方提供了脚本进行快速集群配置

扩展

Gossip 协议：所有节点都保存了一份元数据，当节点发生伸缩或更新时，会将最新的元数据信息传播给所有节点。 - gossip协议
Redis 使用Gossip协议时采用了meet，ping，pong，fail消息进行通信
gossip协议.png

参考链接

[1] https://blog.csdn.net/makyan/article/details/104798725
[2] https://www.jianshu.com/p/8279d6fd65bb
[3] https://coding.imooc.com/class/151.html