docker环境，搭建redis cluster集群

2020-03-14 本文已影响0人 binecy

本文分享如何在docker环境中搭建redis cluster集群，并在搭建过程中分享一些docker的常用知识。

准备镜像

关于bin/ubuntu:16.04镜像的构建请参考docker基础环境搭建

构建一个bin/redis:5.0.7镜像，该镜像基于bin/ubuntu:16.04，使用源码安装redis-5.0.7（请先下载redis-5.0.7.tar.gz）。
Dockerfile如下：

FROM bin/ubuntu:16.04

RUN apt-get update &&  apt install -yqq   make gcc 

WORKDIR /var/lib

COPY redis-5.0.7.tar.gz .
RUN tar -xzvf redis-5.0.7.tar.gz && rm redis-5.0.7.tar.gz

WORKDIR /var/lib/redis-5.0.7
RUN make install

构建一个bin/redis-server镜像，Dockerfile如下

FROM bin/redis:5.0.7

COPY docker-entrypoint.sh /usr/local/bin

RUN groupadd -r redis && useradd -r -g redis redis \
&& chmod 777  /usr/local/bin/docker-entrypoint.sh

VOLUME /usr/local/redis/data/
ENTRYPOINT ["docker-entrypoint.sh"]
CMD ["--port 6379"]

CMD 和 ENTRYPOINT 指令都是用来指定容器启动时运行的命令。而使用RUN命令启动容器时也可以指定容器启动时运行的命令。他们区别如下

不存在ENTRYPOINT指令时，CMD指令可以指定默认命令。如果使用RUN启动容器时指定了命令，会覆盖CMD指令，而如果没有指定，则执行CMD中的默认命令。

存在ENTRYPOINT指令，ENTRYPOINT指定的命令不可以被RUN覆盖（除非使用--entrypoint参数），但CMD/RUN可以指定参数（作为ENTRYPOINT指定命令的参数）。如果RUN中指定参数，覆盖CMD中的参数。如果没有指定，则使用CMD中的默认参数。

CMD和ENTRYPOINT指令可以exec模式，如ENTRYPOINT ["docker-entrypoint.sh","--port 6379"]，也可以使用shell模式，如ENTRYPOINT docker-entrypoint.sh --port 6379，但这时docker会在指定命令前加/bin/sh -c，这样可能会导致一些错误，推荐使用exec模式。

上面Dockerfile配置了容器启动命令为docker-entrypoint.sh，默认参数为--port 6379，也可以在RUN命令中指定参数。
(这里说的RUN命令是启动容器的命令，不是Dockerfile中的RUN指令)

docker-entrypoint.sh负责修改配置，启动redis

#!/bin/bash

mkdir -p /etc/redis/ /var/log/redis/ /usr/local/redis/data/
chown -R redis:redis /var/log/redis/ /usr/local/redis/data/

cat>>/etc/redis/redis.conf<<EOF
protected-mode no
appendonly yes
logfile /var/log/redis/redis.log
dir /usr/local/redis/data/
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
EOF

exec gosu redis redis-server  /etc/redis/redis.conf  $@

exec是 bash 的内置命令，exec用被执行的命令替换掉当前的shell进程，且exec命令后的其他命令将不再执行。使用exec和gosu启动redis，可以让redis成为PID等于1的进程，保证SIGTERM等信号正常工作。
CMD/ENTRYPOINT指令的exce模式也有这个作用。

启动容器

启动所有的redis容器

for i in `seq 1 6`; do 
    sudo docker run -d --name redis-$i bin/redis-server
done

注意，这里run命令没有linux命令参数，则容器启动后执行ENTRYPOINT指定命令和CMD默认参数 docker-entrypoint.sh '--port 6379'

查看进程

$ sudo docker top redis-1

可以通过logs目录查看日志

$ sudo docker logs -f  redis-1

(正常使用下redis可能没有日志输出到前台)

docker容器运行时应该尽量不进行写数据操作(否则删除容器后数据也被删除了)，对于数据库这类需要保存动态数据的应用，其数据文件应该保存于卷(volume)中。
VOLUME指令就是用于挂载卷的。
简单来说，就是将docker目录（/usr/local/redis/data/）挂载到宿主机的目录（docker会在宿主机/var/lib/docker/volumes下创建一个子目录），这样docker输出到该docker目录的文件实际保存到宿主机目录。
如果我们修改宿主目录的文件，docker也会马上知道到，这样我们将代码文件放在宿主机上（方便我们修改代码），然后让docker容器通过卷来读取文件。
卷还可以实现数据共享，通过在run命令中使用--volumes-from选项。

Dockerfile中使用了VOLUME指令挂载了一个卷保存redis的AOF文件，这样容器被删除后，文件还保留在宿主机内。
通过docker inspect 可以查看Volume卷的挂载信息

"Mounts": [
    {
        "Type": "volume",
        "Name": "025f5fff7a31e61f8a068b7b6de38731d16b5efac7e96ac0c01892a4139e8d83",
        "Source": "/var/lib/docker/volumes/025f5fff7a31e61f8a068b7b6de38731d16b5efac7e96ac0c01892a4139e8d83/_data",
        "Destination": "/usr/local/redis/data",
        "Driver": "local",
        "Mode": "",
        "RW": true,
        "Propagation": ""
    }
],

run命令可以通过-v参数挂载卷，并且可以指定宿主机目录，VOLUME指令无法做到这点。

sudo docker run -d  -v /home/binecy/redis/data/:/usr/local/redis/data/ bin/redis-server

创建集群

获取所有的docker容器ip

$ for i in `seq 1 6`; do 
>    echo `sudo docker inspect -f '{{ .NetworkSettings.IPAddress}}'  redis-$i`
> done
172.17.0.2
172.17.0.3
172.17.0.4
172.17.0.5
172.17.0.6
172.17.0.7

连接到redis-1容器，执行以下命令，创建redis cluster

$ sudo docker exec -it redis-1 /bin/bash
root$ redis-cli --cluster create  172.17.0.2:6379 172.17.0.3:6379 172.17.0.4:6379 172.17.0.5:6379 172.17.0.6:6379 172.17.0.7:6379  --cluster-replicas 1

docker网络

下面重点来看看docker网络

bridge模式

上面例子我使用的是docker默认的网络模式，即bridge模式

Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。

当Docker 进程启动时，会自动在主机上创建一个 docker0 虚拟网桥，默认分配网段172.17.0.0/16，实际上就是一个 Linux bridge 网桥，可以理解为一个软件交换机，附加在其上的任何网卡之间都能自动转发数据包。

在bridge模式下，docker会为每一个容器创建一个Network Namespace。创建一个容器时，容器从docker0中的子网分配一个IP地址，并创建一对veth虚拟网络设备，其中一个设备在容器中作为容器的网卡，另一个设备桥接在宿主机docker0上，可通过命令brctl show 查看（名称为vethXXX），通过这样的桥接方法宿主机上的所有容器都处于同一个二层网络中，这样使得容器与容器以及容器与宿主机之间能够互相通信。（但不能跨宿主机通信）。

veth 是 Virtual ETHernet 的缩写，是一种虚拟网络设备。当总是以两张虚拟网卡（Veth peer）形式被创建，并且在一个网卡上的数据包可直接转发给另一个网卡上，即使这两个网卡不在同一个namespace中。

我们也可以自定义了一个网桥

docker network create redis-net

自定义网桥和默认的docker0网桥最大区别是自定义网桥可以通过--network-alias指定容器的网络别名，容器间可以通过网络别名通信。

for i in `seq 1 6`; do 
    sudo docker run -d --name  redis-$i --network redis-net --network-alias redis-$i bin/redis-server
done

这样，就可以在redis-1容器中，可以ping redis-2 ping ping通redis-2容器，也可以通过 redis-cli-h redis-2 连接到redis-2容器的redis。

Mysql MGR，Zookeeper等分布式系统，需要在应用启动前将集群内其他成员的ip信息写入配置文件，这时很适合使用网络别名。
(redis-cli --cluster create命令无法使用网络别名)

使用自定义网络后，可以通过以下命令获取docker容器ip

sudo docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}'  redis-1

docker inspect -f可以支持go template语法，这里使用range循环遍历所有的.NetworkSettings.Networks，并取其下的IPAddress变量。

不过这样创建的redis cluster只有宿主机可以访问，外部机器（非宿主机）无法访问，因为docker中的redis端口没有映射到宿主机上。
我们也可以在run命令上使用-p参数映射端口（-P可以映射Dockerfile中EXPOSE指定的端口）：

for i in `seq 1 6`; do 
    sudo docker run -d --name redis-$i -p 6379 -p 16379 bin/redis-server
done

但即使这样外部机器还是无法访问redis cluster，因为redis cluster内部通信用的docker容器ip（就是redis-cli --cluster create命令中的ip），外部机器访问redis cluster时，redis cluster会将这些ip返回给外部机器，并让外部机器通过它们来访问redis cluster，但外部机器无法访问docker容器ip，所以这种方式只能在宿主机上访问redis cluster。

run命令中的-p选项映射端口是通过NAT协议实现的，可以使用iptables命令查看。

host模式

下面说一下host模式
host模式下容器共享宿主机的Network Namespace，容器内启动的端口直接是宿主机的端口，并且容器不会创建网卡和IP，直接使用宿主机的网卡和IP

下面在host模式下搭建redis cluster集群。
启动redis 应用

for port in `seq 7000 7005`; do 
    sudo docker run -d  --name redis-${port} --net=host  bin/redis-server "--port  ${port}" 
done

这里RUN命令指定了参数，容器启动后执行ENTRYPOINT指定命令和RUN参数docker-entrypoint.sh '--port ${port}'。

注意，这里容器启动的端口就是宿主机的端口，要保证宿主机端口不会冲突。

通过宿主机IP192.168.0.102启动redis cluster

$ sudo docker exec -it redis-7000 /bin/bash
root$ redis-cli --cluster create  192.168.0.102:7000 192.168.0.102:7002 192.168.0.102:7002 192.168.0.102:7003 192.168.0.102:7004 192.168.0.102:7005  --cluster-replicas 1

这样外部机器就可以通过宿主机IP192.168.0.102访问redis cluster。

关于docker网络，这有一篇很好的文章 -- docker网络
Dockerfile优化 -- 如何编写最佳的Dockerfile

本文说了docker CMD/ENTRYPOINT，VOLUME，inspect，网络等知识点，基本满足我们日常使用docker了。

如果您觉得本文不错，欢迎关注我的微信公众号，您的关注是我坚持的动力！