Codis 集群

一、codis介绍
codis是一个分布式redis集群解决方案，对于上层的应用来说, 连接到codis-proxy和连接原生的redis-server没有明显的区别。
上层应用可以像使用单机的redis一样使用，codis底层会处理请求的转发，不停机的数据迁移等工作。所有后边的一切事情，对于前面的客户端来说是透明的，可以简单的认为后边连接的是一个内存无限大的redis服务。
codis由四部分组成:
codis proxy(codis-proxy)
codis dashboard(codis-config)
codis redis(codis-server)
zookeeper/etcd
codis-proxy是客户端连接的redis代理服务，codis-proxy本身实现了redis协议，表现得和一个原生的redis没什么区别(就像twemproxy)，对于一个业务来说，可以部署多个codis-proxy，codis-proxy本身是无状态的。
codis-config是codis的管理工具，支持包括：添加/删除redis节点，添加/删除proxy节点，发起数据迁移等操作。
codis-config本身还自带了一个http-server，会启动一个dashboard，用户可以直接在浏览器上观察codis集群的运行状态。
codis-server是codis项目维护的一个redis分支，基于redis2.8.21开发，加入了slot的支持和原子的数据迁移指令。codis上层的codis-proxy和codis-config只能和这个版本的redis交互才能正常运行。
codis依赖zookeeper来存放数据路由表和codis-proxy节点的元信息，codis-config发起的命令都会通过zookeeper同步到各个存活的codis-proxy。
codis支持按照namespace区分不同的产品，拥有不同的product name的产品，各项配置都不会冲突。
codis架构图如下：

clip_image001
二、环境准备
codis集群的搭建，需要zookeeper集群，有关zookeeper集群的搭建，可以参考这篇文章《烂泥：zookeeper集群搭建》。
除了zookeeper集群之外，我们还需要安装go语言环境，因为codis是基于go语言开发的。
2.1 ****安装基础依赖
安装基础依赖，使用如下命令：
yum install -y git gcc make g++ gcc-c++ automake openssl-devel zlib-*
clip_image002
基础依赖安装往后，我们现在开始配置go语言环境。

2.2 go****语言环境搭建**
codis是基于go语言开发的，所以我们要在所有服务器上都配置go语言环境。

GOPATH, GOROOT配置:https://golang.org/doc/install

下载go语言包，如下：
wget https://storage.googleapis.com/golang/go1.6.1.linux-amd64.tar.gz

clip_image003
下载完毕后，解压到/usr/local，如下：
tar -C /usr/local -xf go1.6.1.linux-amd64.tar.gz
clip_image004
把go加入到系统的环境变量，如下：
GOPATH:是go的工作目录
GOROOT:是go的安装目录
vim /etc/profile
export GOROOT=$PATH:/usr/local/go/bin
export GOPATH=/usr/local/go/work
clip_image005
让刚刚加入的环境变量生效，并查看go是否配置成功，如下：
source /etc/profile
env
go version
clip_image006
通过上图，我们可以很明显的看出go语言环境配置成功。

三、安装codis
codis的安装，我们可以通过三种不同的方式进行：通过go下载安装、通过git方式和通过源码方式，下面分别介绍下。

3.1 ****通过go下载安装

官方github地址为：https://github.com/CodisLabs/codis
cd /usr/local/go/work/src/github.com/CodisLabs/codis
官方使用文档地址为：
https://github.com/CodisLabs/codis/blob/master/doc/tutorial_zh.md
按照官方github介绍，codis首选方式是通过go下载安装的。命令如下：
go get -u -d github.com/CodisLabs/codis

clip_image007
注意：由于众所周知的原因，这一步比较慢，需要耐心等待。上一步执行完毕后，我们切换到目录下，进行编译，如下：
make
clip_image008
clip_image009
clip_image010
注意：这一步也比较慢，需要耐心等待。
make编译执行完毕后后，会在bin目录下生成codis-config、codis-proxy、codis-server三个可执行文件以及assets目录。
其中assets是codis-config的dashboard http 服务需要的前端资源，需要和codis-config放置在同一目录下。如下：
ll bin/
clip_image011
编译完毕后，我们现在来测试编译的结果，使用如下命令：
make gotest
clip_image012
通过上图，我们可以看到codis已经安装成功。

3.2 ****通过git方式

上一章节，我们介绍了codis通过go下载安装的方法，这一章节，我们通过git方式进行安装。
首先下载codis最新的git仓库，使用如下命令：
git clone https://github.com/CodisLabs/codis.git

clip_image013
git仓库下载完毕后，我们接下来进行如下的操作。如下：
mkdir -p /usr/local/src/github.com/CodisLabs/
cp -r codis /usr/local/src/github.com/CodisLabs/
cd /usr/local/src/github.com/CodisLabs/codis/
clip_image014
以上操作完毕后，就和通过go下载安装方式一样了。执行make命令进行编译，然后执行make gotest命令进行测试。

3.3 ****通过下载源码

下面我们来介绍下，通过源码方式的安装。下载codis源码文件，如下：
wget https://github.com/CodisLabs/codis/archive/3.0.3.tar.gz

clip_image015
解压源码包，如下：
tar -xf 3.0.3.tar.gz
cd codis-3.0.3/
clip_image016
然后进行编译，使用make命令，如下：
clip_image017
clip_image018
clip_image019
clip_image020
这一步很慢，需要下载各种依赖，然后是make gotest。
基本和go下载安装方式一样，不过需要说明下，我通过源码方式一直没有安装成功。报如下错误：
clip_image021
所以以上三种安装的方法，建议使用第一、二种，尽管有点慢。
四、配置codis集群
codis安装完毕后，我们现在来配置codis集群。在正式配置集群之前，先创建相关的目录，然后复制相关文件到新的目录下。使用如下命令：
cd /usr/local/go/work/src/github.com/CodisLabs/codis
mkdir -p /usr/local/codis/{log,redis_conf}
cp -rf bin/ /usr/local/codis/
cp config.ini /usr/local/codis/
cp extern/redis-test/conf/6379.conf /usr/local/codis/redis_conf/20189.conf
cp extern/redis-test/conf/6380.conf /usr/local/codis/redis_conf/20190.conf
clip_image022

4.1 ****编辑codis配置文件

上述操作完毕后，我们来修改codis的配置文件config.ini，在此我们只需要修改相关的选项即可。如下：
vim /usr/local/codis/config.ini
coordinator=zookeeper
zk=192.168.1.9:2181,192.168.1.124:2181,192.168.1.231:2181
product=test
dashboard_addr=192.168.1.9:18087
password=
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=1024
zk_session_timeout=30000
proxy_id=proxy_9
该配置文件中，我们需要注意三个参数：zk、dashboard_addr、proxy_id。
其中zk是表示zookeeper集群的服务器IP地址，dashboard_addr表示codis web管理的IP地址及端口，proxy_id表示codis的id，注意每台codis服务器该值要唯一。

clip_image023
另外两台服务器的codis配置文件，内容如下：
clip_image024
clip_image025
到此codis配置文件修改完毕。

4.2 ****编辑redis配置文件

codis配置文件修改完毕后，我们现在来修改redis配置文件。
每台codis服务器上，我们要启动两个redis实例（也可以启动多个redis实例），所以我们要配置两个redis。如下：
vim /usr/local/codis/redis_conf/20189.conf
daemonize no
pidfile /var/run/redis20189.pid
port 20189
tcp-backlog 511
timeout 0
tcp-keepalive 0
loglevel notice
logfile /var/log/redis/20189.log
databases 16
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump20189.rdb
dir /usr/local/codis/
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename “appendonly.aof”
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events “”
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

clip_image026
配置第二个redis实例，如下：
yes|cp /usr/local/codis/redis_conf/20189.conf /usr/local/codis/redis_conf/20190.conf
sed -i ‘s/20189/20190/g’ /usr/local/codis/redis_conf/20190.conf
mkdir -p /var/log/redis/
clip_image027
每台codis服务器上redis配置完毕后，我们来启动redis实例，如下：
/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20189.conf &
/usr/local/codis/bin/codis-server /usr/local/codis/redis_conf/20190.conf &
ps -ef |grep codis-server
clip_image028
注意：我们每台codis服务器上的redis实例都需要启动。

4.3 ****启动codis dashboard

redis实例全部启动后，我们现在来启动codis的dashboard。
注意，我们一定要在192.168.1.9这台codis服务器上启动该命令，这是因为我们在4.1章节codis配置文件中配置的dashboard地址就是192.168.1.9。
使用如下命令启动dashboard：
nohup /usr/local/codis/bin/codis-config -c config.ini dashboard &
netstat -tunlp

clip_image029
codis dashboard访问端口是18087，如下：
http://codis.ilanni.com:18087/admin/
clip_image030
通过上图，我们可以很明显的看出codis dashboard已经正常启动。

4.4 ****创建redis server分组

codis dashboard已经正常启动后，我们现在来创添加redis server分组。如下：

clip_image031
clip_image032
clip_image033
clip_image034
这样我们第一个redis server分组就创建完毕了，可以使用同样的方法创建第二、三个分组。如下：
clip_image035
这样三组redis server分组就创建完毕了。
当然我们也可以通过命令进行创建，如下：
/usr/local/codis/bin/codis-config server add-group 1
/usr/local/codis/bin/codis-config server add-group 2
/usr/local/codis/bin/codis-config server add-group 3
/usr/local/codis/bin/codis-config server list
clip_image036
注意：上述命令在三台codis服务器上任意一台上执行。
到此codis的redis server分组添加完毕。

4.5 ****添加redis实例

redis server分组添加完毕后，我们现在来为每一个分组添加redis实例。先为group_1添加redis实例，如下：

clip_image037
clip_image038
这个里面可以填写任何一个codis服务器上的redis实例（哪怕不是codis服务器的redis实例），在此我们填写的是192.168.1.9这台服务器上的redis实例。
clip_image039
可以看到group_1组的第一个redis实例，被自动配置为master类型。
现在我们来添加第二个redis实例，如下：
clip_image040
clip_image041
通过上图，我们可以很明显的看到第二个添加的redis实例被默认配置为slave类型。
注意：redis官方的支持的集群也是master-slave主从式的集群。
group_2组和group_3组的redis实例添加和上面的操作一样，如下：
clip_image042
这样三组redis实例就全部添加完毕。
当然我们也可以通过命令进行添加，如下：
/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20189 master
/usr/local/codis/bin/codis-config server add 1 192.168.1.9:20190 slave
/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20189 master
/usr/local/codis/bin/codis-config server add 2 192.168.1.124:20190 slave
/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20189 master
/usr/local/codis/bin/codis-config server add 3 192.168.1.231:20190 slave
注意：上述命令中的数字，表示的是哪一个分组，master/slave表示的是所属类型。
clip_image043
我们也可以通过命令查看，各个redis server组的信息，如下：
/usr/local/codis/bin/codis-config server list
clip_image044
注意：每组添加的第一个redis实例不能被删除，因为codis默认把该redis实例设置为master。
到此redis server分组的redis实例添加完毕。

4.6 ****分配slot范围

codis采用pre-sharding的技术来实现数据的分片，默认分成1024个slot(0-1023)。对于每个key来说，可以通过以下公式确定所属的slot id:slotid=crc32(key)%1024。
每一个slot都会有一个且必须有一个特定的server group id来表示这个slot的数据由哪个server group来提供。
在分配slot之前，我们需要初始化slot。
在codis服务器任意一台上执行bin/codis-config slot init命令，该命令会在zookeeper上创建slot相关信息。如下：
cd /usr/local/codis
/usr/local/codis/bin/codis-config -c config.ini slot init

clip_image045
slot初始化完毕后，我们现在来分配slot范围。如下：
clip_image046
clip_image047
上图中的New Group Id是自定义的。
clip_image048
通过上图，我们可以看到第一组slot分配成功。
现在来查看slot分配信息，如下：
clip_image049
clip_image050
通过上图，我们可以很明显的看出组1分配的slot是0-334,335以后还没有分配。现在来分配剩下的slot，如下：
clip_image051
clip_image052
这样slot已经全部分配完毕。
当然我们也可以通过命令进行分配，如下：
/usr/local/codis/bin/codis-config slot range-set 0 334 1 online
/usr/local/codis/bin/codis-config slot range-set 335 669 2 online
/usr/local/codis/bin/codis-config slot range-set 670 1023 3 online
clip_image053
查看slot信息，如下：
/usr/local/codis/bin/codis-config slot info 1
/usr/local/codis/bin/codis-config slot info 2
/usr/local/codis/bin/codis-config slot info 3
clip_image054

4.7 ****启动codis-proxy

以上全部配置完毕后，我们来启动codis-proxy，使用如下命令：
nohup /usr/local/codis/bin/codis-proxy
-c /usr/local/codis/config.ini
--log-level=error
-L /usr/local/codis/log/proxy.log
--cpu=2
--addr=192.168.1.9:19000
--http-addr=192.168.1.9:11000 &
下面对以上命令中的参数进行解释：
-c 配置文件地址。
-L 日志输出文件地址。
–log-level=<loglevel> 输出日志级别(debug<info (default)<warn<error<fatal)。
–cpu=<cpu_num> proxy占用的cpu核数,默认1,最好设置为机器的物理cpu数的一半到2/3左右。
–addr=<proxy_listen_addr> proxy的redis server监听的地址, 格式<ip or hostname>:<port>, 如: localhost:9000, :9001。
–http-addr=<debug_http_server_addr> proxy的调试信息启动的http server,可以访问 http://debug_http_server_addr/debug/vars。

clip_image055
codis-proxy启动后，我们可以在dashboard上进行查看，如下：
clip_image056
到此codis集群就搭建完毕。

五、连接codis集群
codis集群搭建完毕后，现在我们来连接codis集群。要连接codis集群，我们只需要连接codis-proxy即可。即连接4.7章节中的codis-proxy服务器地址，然后加19000端口。使用redis-cli命令连接，如下：
redis-cli -h 192.168.1.9 -p 19000
info

clip_image057
通过上图，我们可以很明显的看到连接codis集群是ok的。
我们现在对codis集群做一些压力测试，同时在dashboard上观察键值对的情况。如下：
redis-benchmark -h 192.168.1.9 -p 19000 -c 10000 -d 100 -t set -n 100000 -r 100000
上述命令的意思是，使用redis-benchmark压力测试命令连接codis集群，同时并发10000个（-c），测试set操作(-t)，每个测试数据集是100字节(-d),请求数是100000（-n），使用使用随机数插入数值（-r）。
clip_image058
通过上图，可以很明显的看到codis集群的性能还是很不错的呢。
而我们laravel框架中redis的配置直接填写codis-proxy的连接地址即可。如下：
clip_image059

六、其他
在codis搭建和使用过程中，我们还是会碰到一些其他问题的，下面就稍微提下。

6.1 ****报zk节点不存在错误

如果要kill的dashboard的话，强烈建议通过kill -15 pid来关闭。
如果是直接使用kill -9进行kill的话，可能会报zk节点不存在错误的话。
这样的话，我们需要通过连接zookeeper集群，删除相关节点，然后再进行操作。删除节点操作，操作如下：
cd /usr/local/zookeeper/
./bin/zkCli.sh -server 127.0.0.1:2181
ls /zk/codis/db_test
rmr /zk/codis/db_test

clip_image060
clip_image061

6.2 ****与阿里云slb集成

在这里我们大致介绍下，codis在与阿里云的slb（负载均衡）进行集成的线上生产环境的案例。
目前我们连接codis集群是通过单个codis-proxy来进行的，如果这个节点挂了，就会出现了单点故障的危险。
所以我们这边在codis集群每台服务器上，都启动一个codis-proxy。然后前端使用slb进行统一接入，slb后端就有三台codis-proxy服务器。
codis集群的搭建和前面是一样的，只是在此我们的codis所在ecs（服务器）只有内网IP（省钱），而且slb我们是要的也是内网（省钱）。如下：

clip_image062
clip_image063
这样的话，客户端连接slb的地址就是连接codis整个集群了，同时也避免了单点故障的问题。

  公司的redis有时background save db不成功，通过log发现下面的告警，很可能由它引起的：

[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
于是通过搜索，也有人跟我遇到同样的问题，基本可以确定是由它引起的。
**内核参数overcommit_memory **
它是 内存分配策略
可选值：0、1、2。0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。2， 表示内核允许分配超过所有物理内存和交换空间总和的内存
****什么是Overcommit和OOM****
Linux对大部分申请内存的请求都回复"yes"，以便能跑更多更大的程序。因为申请内存后，并不会马上使用内存。这种技术叫做Overcommit。当linux发现内存不足时，会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程，不是内核线程)，以便释放内存。
当oom-killer发生时，linux会选择杀死哪些进程？选择进程的函数是oom_badness函数(在mm/oom_kill.c中)，该函数会计算每个进程的点数(0~1000)。点数越高，这个进程越有可能被杀死。每个进程的点数跟oom_score_adj有关，而且oom_score_adj可以被设置(-1000最低，1000最高)。
解决方法：
/etc/sysctl.conf

vm.overcommit_memory=1 或者sysctl vm.overcommit_memory=1
或者
echo 1 > /proc/sys/vm/overcommit_memory
内核参数说明如下：
overcommit_memory文件指定了内核针对内存分配的策略，其值可以是0、1、2。
0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。2， 表示内核允许分配超过所有物理内存和交换空间总和的内存

redis数据同步

git clone https://github.com/CodisLabs/redis-port
cd redis-port
make
./bin/redis-port sync --from 10.168.22.140:6379 --filterdb=3 --target 10.251.241.246:19000

转自: http://www.ilanni.com/?p=11524#五、连接codis集群