基于Helm离线部署高可用Redis

2019-09-26 本文已影响0人 do_young

参考文档
https://www.kubernetes.org.cn/3974.html

背景

本文中的Redis高可用方案采用Sentinel(哨兵)模式，在集群出现故障的时候自动进行故障转移，保证集群的可用性。Redis Sentinel 为Redis提供了高可用性，这意味着通过使用Sentinel 可以创建一个Redis部署，在没有人为干预的情况下能够抵抗某些类型的失败。Sentiel的完整功能列表如下所示：

监控：不间断的检查master/slave实例否是安装预期正常工作；
通知：当 Redis 实例出现错误的时候，会使用程序（通过 API 接口）通知管理员；
自动故障转移：在master发生故障时，哨兵会开启故障转移处理，将一台slave提升为master，其它的slave被重新配置使用新的master，当应用程序连接时使用新的地址配置；
配置信息：Sentinel作为服务发现的权威来源，客户端连接到Sentinel去获取当前Redis master的地址，如果发生故障转移，Sentinel将会汇报新的服务器地址。

Sentinel本身是一套分布式系统，它被设计成能够进行多个进程间协同工作的模式，这样的好处如下：

多个Sentinel一致明确给定的主机不再可用时，才会执行故障检测，这能够有效错报的概率。
即使只有一个Sentinel在正常运行，Redis也是可用的，从而保证系统具有较高的健壮性。

image

Sentinel，Redis实例（master和slave）和连接到Sentinel和Redis的客户端的数量，也是一个具有特定属性的更大的分布式系统。在本文中，定制的Redis服务器镜像会确定执行它的Pod是redis的Sentinel、master还是slave，并启动适当的服务。这个Helm chart指示Sentinel状态与环境变量。如果没有设置，新启动的Pod将查询Kunbernetes的活动master。如果不存在，则它使用一种确定的方法来检测它是否应该作为master启动，然后将“master”或“slave”写入到称为redis-role的标签中。
redis-role=master Pod是集群启动的关键。在它们完成启动，sentinel将处于等待整体。所有其他的Pod等待sentinel识别主节点。运行Pod并设置标签podIP和runID。runID是每个redis服务器生成的唯一run_ID值的前几个字符。
在正常操作中，应该只有一个redis=master Pod。如果失败，Sentinel将提名一个新的master，并适当地改变所有的redis-role的值。
通过执行如下命令可以查看Pod所承担的角色：

$ kubectl get pods -L redis-role

安装部署

环境要求

已有Kubernetes 1.6+环境；
已部署helm客户端和tiller服务端
在Kubernetes中提供了容量大于10g的持久化存储卷。

下载 Helm chars

先从该地址Redis Ha下载Helm Chars文件包。并解压到指定路径下，文件结构如下所示：

redis-ha
--templates # 模板目录，当与values.yaml组合时，将生成有效的Kubernetes清单文件。
----NOTES.txt
----_helpers.tpl
----redis-master-service.yalm
----redis-role.yaml
----redis-rolebinding.yaml
----redis-sentinel-deployment.yaml
----redis-sentinel-service.yaml
----redis-server-deployment.yaml
----redis-serviceaccount.yaml 
----redis-slave-service.yaml  
--Chart.yaml # 描述chart的信息
--README.md # 可读的chart介绍文件
--values.yaml # 默认配置文件

该结构如果不太清楚，可以参考一下【Helm Chart】文档。
在values.yaml配置文件中设置了通过helm进行部署时的默认值。在values.yaml中，首先，定义了主Pod和哨兵Pod的请求和限制资源的要求；接着，通过nodeSelector和容忍度为Pod定义调度到哪个Node上；以及，指定容器所使用的镜像和其它的相关信息。

## Configure resource requests and limits
## ref: http://kubernetes.io/docs/user-guide/compute-resources/
##
resources:
  server:
    requests:
      memory: 200Mi
      cpu: 100m
    limits:
      memory: 700Mi
  sentinel:
    requests:
      memory: 200Mi
      cpu: 100m
    limits:
      memory: 200Mi

## Node labels and tolerations for pod assignment
## ref: https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#nodeselector
## ref: https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#taints-and-tolerations-beta-feature
nodeSelector: {}
tolerations: []

## Redis image version
redis_image: quay.io/smile/redis:4.0.6r2
## replicas number for each component
replicas:
  servers: 3
  sentinels: 3
servers:
  serviceType: ClusterIP  # [ClusterIP|LoadBalancer]
  annotations: {}

rbac:
  # Specifies whether RBAC resources should be created
  create: true

serviceAccount:
  # Specifies whether a ServiceAccount should be created
  create: true
  # The name of the ServiceAccount to use.
  # If not set and create is true, a name is generated using the fullname template
  name:

该配置中需要注意的点有：

replicas.server
可以设置主从总数量，这里设置为3，及一主两从
replicas.sentinels
设置哨兵总数量，这里设置为3
resources.server.requests.memory
设置redis的单结点初始内存为200Mi
resources.server.limits
设置redis的单结点最大内存可分配700Mi
redis_image: quay.io/smile/redis:4.0.6r2

该Redis部署依赖于一个镜像quay.io/smile/redis:4.0.6r2，如果是离线安装，需要通过外网可连通环境上的docker下载及导出一个该redis镜像。

注：如果需要将Redis缓存写入磁盘的数据挂载到容器外，需要在redis-server-deployment.yaml文件中添加如下

      - name: data
        hostPath:
          path: /root/project/go-nifty/redis

部署Redis

可以根据需要自行配置及修改相关参数，并通过helm工具，对配置进行校验。

helm install --dry-run --debug --name=going ./redis-ha

确认好配置以后，就可以通过以下指令安装Redis

  helm install --name=going ./redis-ha

验证

部署完成以后通过指令查看

 kubectl get pods -L redis-role

如果发现多了以下6个结点，且为Running状态，基本就没有什么问题了。

NAME                                       READY     STATUS    RESTARTS   AGE       REDIS-ROLE
go-nifty-web-deployment-554b8fbbc5-45bdm   1/1       Running   3          39m       
go-redis-ha-sentinel-586666cd47-9n96l      1/1       Running   0          4h        sentinel
go-redis-ha-sentinel-586666cd47-d7v8q      1/1       Running   0          4h        sentinel
go-redis-ha-sentinel-586666cd47-plt7j      1/1       Running   0          4h        sentinel
go-redis-ha-server-cd5d85557-7zxcz         1/1       Running   1          4h        master
go-redis-ha-server-cd5d85557-vftsp         1/1       Running   0          4h        slave
go-redis-ha-server-cd5d85557-x2l6z         1/1       Running   1          4h        slave
redis-webcli-c8457fd89-957q4               1/1       Running   0          4h

再确认一下Redis部署的相关服务

 kubectl get services

NAME                     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
go-redis-ha-master-svc   ClusterIP   10.100.148.133   <none>        6379/TCP         4h
go-redis-ha-sentinel     ClusterIP   10.96.56.22      <none>        26379/TCP        4h
go-redis-ha-slave-svc    ClusterIP   10.103.185.52    <none>        6379/TCP         4h

从服务中可以看到：

Redis主服务名为go-redis-ha-master-svc
Redis从服务名为go-redis-ha-slave-svc
哨兵服务名为go-redis-ha-sentinel

测试

你可以通过指令进入到主或从的Redis容器中，使用容器中的Redis客户端，连接到Reids中进行测试。

kubectl exec -it go-redis-ha-server-${HASH-CODE} /bin/bash

bash#redis-cli -h go-redis-ha-server-${HASH-CODE} 
......

开发配置

基于spring-data-redis组件连接高可用redis，可以通过如下配置：

<?xml version="1.0" encoding="UTF-8"?>
<beans ...>
    <bean id="poolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <!--最大空闲数-->
        <property name="maxIdle" value="50"/>
        <!--最大连接数-->
        <property name="maxTotal" value="10000"/>
        <!--最大等待时间-->
        <property name="maxWaitMillis" value="20000"/>
    </bean>
    
    <bean id="sentinelConfig"
        class="org.springframework.data.redis.connection.RedisSentinelConfiguration">
        <!-- master名称 sentinel.conf里面配置的主节点名称 -->
        <constructor-arg name="master" value="mymaster" />
        <!-- sentinel的ip和端口列表 -->
        <constructor-arg name="sentinelHostAndPorts">
            <set>
                <value>go-redis-ha-sentinel:26379</value>
            </set>
        </constructor-arg>
    </bean>
    
    <bean id="connectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory">
        <constructor-arg ref="sentinelConfig" />
        <!--连接池配置-->
        <constructor-arg ref="poolConfig" />
        <!-- <property name="poolConfig" ref="poolConfig" /> -->
    </bean>

    <bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate"
        p:connection-factory-ref="connectionFactory" />
</beans>

其中，最主要的配置为：

master
该值为mymaster,这个值是镜像中sentinel的配置文件已经配置好的默认值，暂时没有考虑该值的修改。
sentinelHostAndPorts
该值为上面哨兵的服务名加端口，具体查看

kubectl get services | grep sentinel