Redis 迁移至AWS ElasticElastiCache
场景描述
在云之间进行迁移，对于Ali ECS to AWS EC2、Ali RDS to AWS RDS/Aurora迁移相对都比较简单，可以使用自动化工具进行迁移；
对于Redis迁移主要考虑数据是否持久化和安全访问的问题，AWS Redis是允许内网访问，如果需要Office网络连接AWS ElastiCache Redis，需要借用SD-WAN或专线进行组网。
Redis迁移
1.离线迁移（Redis-shake）
2.在线迁移（DTS、Redis-shake）
Redis 离线迁移
源Redis的版本为2.8、3.0、3.2、4.0或5.0版本。（2.8的版本需先迁移至4.0版本）
目标Redis的版本需要满足一下要求：
- Reids为社区办4.0/5.0版本或企业版本5.0版本
- Redis为标准架构或集群架构
步骤
1.下载redis-shake工具
https://github.com/alibaba/RedisShake/releases
2.修改 redis-shake.conf 文件
# id唯一标识一次同步进程
id=redis-shake # source相关配置
source.rdb.input = >/xxx/dump.rdb
target.type=standalone
target.address=10.xx.xx.xx:6379
target.password_raw={password}
target.auth_type = auth
3.执行操作
[root@ip-10-1-0-139 workstation]# ./redis-shake.linux -type=restore -conf=redis-shake.conf
redis-shake.png
4.数据校验
r-bp1z3lkccjpxj9woeapd.redis.rds.aliyuncs.com:6379> dbsize
(integer) 277850
可以核对数据的量，以达到数据校验的目的
Redis 在线迁移
Redis-shake迁移
步骤
1.修改redis-shake.conf文件
# id唯一标识一次同步进程
id=redis-shake # source相关配置
source.type=standalone
source.address=10.xx.xx.xx:6379
source.password_raw={password}
source.auth_type = auth
target.type=standalone
target.address=10.xx.xx.xx:6379
target.password_raw={password}
target.auth_type = auth
# 在rdb全量同步阶段，如果目标redis已经存在对应的key时是否覆盖，如果为false就抛异常
rewrite = true
# 是否做metric统计，建议设置为true，如果设置为false，/metric中的部分参数的值就一直是0
metric = true
2.执行操作
[root@ip-10-1-0-139 workstation]# ./redis-shake.linux -type=sync -conf=redis-shake.conf
redis-shake-online.png
3.数据校验
r-bp1z3lkccjpxj9woeapd.redis.rds.aliyuncs.com:6379>
dbsize(integer) 277850
4.增量同步数据过程
sync-redis.png
一阶段：全量数据完成
二阶段：增量数据同步
第一阶段完成后，第二阶段会继续进行增量数据的同步。
DTS迁移（目标为主从架构）
适用环境
1.集群/主从架构 to AWS ElastiCache Redis主从架构
DTS-迁移.png
2.进行数据校验，查看数据大小
DTS迁移（目标为集群架构）
适用环境
1.集群/主从架构 to AWS ElastiCache Redis集群架构
2.AWS redis只允许内网访问，需要借助能够映射外网的NLB/代理服务器
image.png
步骤
1.安装部署redis proxy
wget https://github.com/alibaba/RedisShake/releases/download/release-v2.1.1-20210903/release-v2.1.1-20210903.tar.gz
tar zxvf release-v2.1.1-20210903.tar.gz
mv release-v2.1.1-20210903 redis-shake-2.1.1
cd redis-shake-2.1.1/
2.查看对应redis node的ip
直接ping node域名即可获得
3.配置proxy的信息
sudo ./redis-cluster-proxy --port 7888 --connections-pool-size 20 --connections-pool-min-size 15 --connections-pool-spawn-rate 2 --connections-pool-spawn-every 500 10.0.14.6:6379,10.0.19.240:6379,10.0.3.72:6379,10.0.26.100:6379,10.0.27.86:6379,10.0.9.243:6379,10.0.22.183:6379,10.0.12.162:6379 &
4.利用阿里DTS进行迁移配置
源端配置为阿里的Redis信息
目标端的IP配置为proxy 主机的IP，端口好为指定的port
5.如果需要设置DTS服务器的白名单，需要将目标端的node信息添加
6.使用DTS进行预检查
7.使用redis-cli或其他工具连接redis，查看数据的同步情况
8.验证增量数据同步，在源端新增key/修改key，在目标端进行查看
9.数据校验。可以使用redis-full-check进行对比
主从版/单节点
./redis-full-check -t 10.101.72.137:30661 -s 10.101.72.137:30551
对于主从和集群
./redis-full-check -s r-2zee5bo9byhcms8opg.redis.rds.aliyuncs.com:6379 --sourcepassword=Vcg@2021 -t cn-500px-dev-ec-sg-01.sxgti0.0001.cnw1.cache.amazonaws.com.cn:6379 --comparemode=1 --comparetimes=1 --log=redis-full-check.log --sourcedbfilterlist=0 --targetdbfilterlist=0
