Redis详解8.Cluster模式

2019-02-14 本文已影响1人卢卡斯哔哔哔

章节目录

Redis详解1.安装及使用
 Redis详解2.数据结构
 Redis详解3.发布订阅
 Redis详解4.事务
 Redis详解5.数据持久化
 Redis详解6.主从模式
 Redis详解7.哨兵模式
 Redis详解8.Cluster模式

1 简介

参考资料来源

Redis 学习笔记（十四）Redis Cluster介绍与搭建
 Redis Cluster集群理解
 Redis进阶实践之十一 Redis的Cluster集群搭建

Redis Cluster

Redis Cluster是Redis的分布式解决方案，在Redis 3.0版本正式推出的，有效解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构达到负载均衡的目的。Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态，每个节点都和其他所有节点连接。

Redis Cluster结构特点

所有的redis节点彼此互联（PING-PONG机制），内部使用二进制协议优化传输速度和带宽。
节点的fail是通过集群中超过半数的节点检测失效时才生效。
客户端与redis节点直连,不需要中间proxy层，客户端不需要连接集群所有节点，连接集群中任何一个可用节点即可。
redis-cluster把所有的物理节点映射到[0-16383]slot上（不一定是平均分配），cluster 负责维护node、slot、value。
Redis集群预分好16384个桶，当需要在 Redis 集群中放置一个 key-value 时，根据 CRC16(key) mod 16384的值，决定将一个key放到哪个桶中。

Redis 集群功能限制

Redis集群相对单机在功能上有一定限制。

key批量操作支持有限。如：MSET``MGET，目前只支持具有相同slot值的key执行批量操作。
key事务操作支持有限。支持多key在同一节点上的事务操作，不支持分布在多个节点的事务功能。
key作为数据分区的最小粒度，因此不能将一个大的键值对象映射到不同的节点。如：hash、list。
不支持多数据库空间。单机下Redis支持16个数据库，集群模式下只能使用一个数据库空间，即db 0。
复制结构只支持一层，不支持嵌套树状复制结构。

数据分布理论

分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集，常见的分区规则有哈希分区和顺序分区。Redis Cluster采用哈希分区规则，因此接下来会讨论哈希分区规则。常见的哈希分区有以下几种：

节点取余分区
一致性哈希分区
虚拟槽分区

Redis Cluster采用虚拟槽分区，虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。比如Redis Cluster槽的范围是0～16383。槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展，每个节点负责一定数量的槽。

Redis 数据分区

Redis Cluster采用虚拟槽分区，所有的键根据哈希函数映射到0～16383，计算公式：slot = CRC16(key)&16383。每一个节点负责维护一部分槽以及槽所映射的键值数据。

2 配置

由于我们是在单台机器上启动Redis集群，需要通过不同的端口号来区别Redis Server。本篇中我们设置的是三主模式A、B、C的集群，在生产环境中我们可以为每个Master节点添加一个从服务器节点，以便最终集群由作为主服务器节点的A、B、C以及作为从服务器节点的A₁、B₁、C₁组成，如果节点A发生故障，则集群将促使节点A₁作为新的主服务器节点并且将继续正确地操作。

我们首先复制3份redis.conf文件并分别命名为redis_master1.conf、redis_master2.conf、redis_master3.conf。
为每一份文件添加如下配置，让它们分别监听6380、6381、6382端口，并开启集群。
通过redis-server redis_master1.conf启动三个Redis Server。

# 另外两个端口分别是6381和6382（或者任意不重复即可）
port 6380
# 另外两个配置文件dir分别是/usr/local/var/db/redis_master2/、/usr/local/var/db/redis_master3/
dir /usr/local/var/db/redis_master1/
# 是否启用集群
cluster-enabled yes
# 另外两个配置文件分别为nodes-6381.conf、nodes-6382.conf
cluster-config-file nodes-6380.conf
# 配置集群节点的超时时间
cluster-node-timeout 15000

3 启动

Redis提供了多种集群的启动方式，可以通过手动启动、redis-trib.rb、redis-cli启动集群，目前最为推荐的是通过redis-cli启动集群。

3.1 手动启动

第一步：准备节点

根据三个配置文件分别启动上述3个redis-server

第二步：节点握手

节点握手是一批运行在集群模式的节点通过gossip协议彼此通信，达到感知对方的过程。
节点握手是集群彼此通信的第一步，由客户端发起命令：cluster meet <ip> <port>。

127.0.0.1:6380> CLUSTER MEET 127.0.0.1 6381
OK
127.0.0.1:6380> CLUSTER MEET 127.0.0.1 6382
OK
// 已经全部感知到所有的节点
127.0.0.1:6380> CLUSTER NODES
9433ce1d5acfe63b7de43494a262f4608c49f25c 127.0.0.1:6382@16382 master - 0 1550125636416 2 connected
71300f99af624bc88d20c70cd251f3b2fbc004b9 127.0.0.1:6381@16381 master - 0 1550125635391 1 connected
e5bbe0af467b45a99bec0430b06bb9ede98ee5d2 127.0.0.1:6380@16380 myself,master - 0 1550125635000 0 connected

第三步：分配槽

可以通过CLUSTER INFO查看节点状态

127.0.0.1:6380> CLUSTER INFO
# 目前集群是fail的
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:0
cluster_current_epoch:2
cluster_my_epoch:0
cluster_stats_messages_ping_sent:90
cluster_stats_messages_pong_sent:87
cluster_stats_messages_meet_sent:2
cluster_stats_messages_sent:179
cluster_stats_messages_ping_received:87
cluster_stats_messages_pong_received:92
cluster_stats_messages_received:179

通过cluster addslots为节点分配槽

zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -h 127.0.0.1 -p 6380 cluster addslots {0..5461}
OK
zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -h 127.0.0.1 -p 6381 cluster addslots {5462..10922}
OK
zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -h 127.0.0.1 -p 6382 cluster addslots {10923..16383}
OK

连接集群

通过redis-cli -c来连接集群。

zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -c -p 6380
127.0.0.1:6380> CLUSTER NODES
9433ce1d5acfe63b7de43494a262f4608c49f25c 127.0.0.1:6382@16382 master - 0 1550126121982 2 connected 10923-16383
71300f99af624bc88d20c70cd251f3b2fbc004b9 127.0.0.1:6381@16381 master - 0 1550126121000 1 connected 5462-10922
e5bbe0af467b45a99bec0430b06bb9ede98ee5d2 127.0.0.1:6380@16380 myself,master - 0 1550126119000 0 connected 0 5461
127.0.0.1:6380> CLUSTER INFO
# 集群设置成功
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:3
cluster_current_epoch:2
cluster_my_epoch:0
cluster_stats_messages_ping_sent:57
cluster_stats_messages_pong_sent:60
cluster_stats_messages_meet_sent:2
cluster_stats_messages_sent:119
cluster_stats_messages_ping_received:60
cluster_stats_messages_pong_received:59
cluster_stats_messages_received:119

验证集群功能

# 我们连接的是6380端口，但是通过集群的功能，a被放置在6382对应的节点
127.0.0.1:6380> SET a 1
-> Redirected to slot [15495] located at 127.0.0.1:6382
OK
127.0.0.1:6382>

3.2 通过redis-trib.rb启动

redis-trib.rb是Redis官方提供的一个基于ruby的Redis Cluster管理脚本，在很长一段时间内是主流的集群管理方式。但在高版本的Redis中已经被redis-cli所取代。低版本的Redis中还可以通过此种方式启动，有兴趣的可以参考以下文档：redis-trib.rb命令详解。

> ruby /usr/local/Cellar/redis/5.0.3/redis-5.0.3/src/redis-trib.rb 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382
WARNING: redis-trib.rb is not longer available!
You should use redis-cli instead.
All commands and features belonging to redis-trib.rb have been moved to redis-cli.

3.3 通过redis-cli启动

我们可以通过redis-cli启动redis集群，首先要根据三个配置文件分别启动上述3个redis-server，然后通过redis-cli --cluster create来开启集群。redis-cli --cluster还有很多子指令，可以通过redis-cli --cluster help来具体查看。

zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli --cluster create 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382
>>> Performing hash slots allocation on 3 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
M: 5a118db9780daca9a1998caa88ce281f1ce69cf3 127.0.0.1:6380
   slots:[0-5460] (5461 slots) master
M: 817a0f0eb42cf67c024a02836051753eee36b474 127.0.0.1:6381
   slots:[5461-10922] (5462 slots) master
M: 5b7a979808c748e68146ad318479430bbd839df1 127.0.0.1:6382
   slots:[10923-16383] (5461 slots) master
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
..
>>> Performing Cluster Check (using node 127.0.0.1:6380)
M: 5a118db9780daca9a1998caa88ce281f1ce69cf3 127.0.0.1:6380
   slots:[0-5460] (5461 slots) master
M: 817a0f0eb42cf67c024a02836051753eee36b474 127.0.0.1:6381
   slots:[5461-10922] (5462 slots) master
M: 5b7a979808c748e68146ad318479430bbd839df1 127.0.0.1:6382
   slots:[10923-16383] (5461 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

# 6380节点的日志，其他节点相同
39133:M 14 Feb 2019 14:09:14.291 # configEpoch set to 1 via CLUSTER SET-CONFIG-EPOCH
39133:M 14 Feb 2019 14:09:14.331 # IP address for this node updated to 127.0.0.1
39133:M 14 Feb 2019 14:09:19.248 # Cluster state changed: ok

# 6380节点的/usr/local/var/db/redis_master1/nodes-6380.conf配置文件
817a0f0eb42cf67c024a02836051753eee36b474 127.0.0.1:6381@16381 master - 0 1550124554432 2 connected 5461-10922
5a118db9780daca9a1998caa88ce281f1ce69cf3 127.0.0.1:6380@16380 myself,master - 0 0 1 connected 0-5460
5b7a979808c748e68146ad318479430bbd839df1 127.0.0.1:6382@16382 master - 0 1550124554531 3 connected 10923-16383
vars currentEpoch 3 lastVoteEpoch 0