Kubernetes+flannnel部署
2017-10-27 本文已影响0人
jianweixs
一、kubernetes（以下简称k8s）和相关服务介绍
1.etcd：
- key-value键值存储数据库，用来存储kubernetes的信息。
2.flannel：
- Flannel 是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，需要另外下载部署。我们知道当我们启动 Docker 后会有一个用于和容器进行交互的 IP 地址，如果不去管理的话可能这个 IP 地址在各个机器上是一样的，并且仅限于在本机上进行通信，无法访问到其他机器上的 Docker 容器。Flannel 的目的就是为集群中的所有节点重新规划 IP 地址的使用规则，从而使得不同节点上的容器能够获得同属一个内网且不重复的 IP 地址，并让属于不同节点上的容器能够直接通过内网 IP 通信。
3.k8s master 组件：
- Kubernetes 集群中主要存在两种类型的节点，分别是 master 节点，以及 minion 节点。Minion 节点是实际运行 Docker 容器的节点，负责和节点上运行的 Docker 进行交互，并且提供了代理功能。
- Master 节点负责对外提供一系列管理集群的 API 接口，并且通过和 Minion 节点交互来实现对集群的操作管理。整体架构图如下：
(1) kubectl
- 客户端命令行工具，将接受的命令格式化后发送给kube-apiserver，作为整个系统的操作入口。
(2) kube-apiserver
- 作为整个系统的控制入口，以REST API服务提供接口。用户和 kubernetes 集群交互的入口，封装了核心对象的增删改查操作，提供了 RESTFul 风格的 API 接口，通过 etcd 来实现持久化并维护对象的一致性。
(3) kube-controller-manager
- 用来执行整个系统中的后台任务，包括节点状态状况、Pod个数、Pods和Service的关联等。主要是用于保证 replicationController 定义的复制数量和实际运行的 pod 数量一致，另外还保证了从 service 到 pod 的映射关系总是最新的。
(4)kube-scheduler
- 负责节点资源管理，接受来自kube-apiserver创建Pods任务，并分配到某个节点。负责集群资源的调度和管理，例如当有 pod 异常退出需要重新分配机器时，scheduler 通过一定的调度算法从而找到最合适的节点。
4.k8s minion组件 ：
(1) kube-proxy
运行在每个计算节点上，负责Pod网络代理。定时从etcd获取到service信息来做相应的策略。运行在 minion 节点，负责为 pod 提供代理功能，会定期从 etcd 获取 service 信息，并根据 service 信息通过修改 iptables 来实现流量转发（最初的版本是直接通过程序提供转发功能，效率较低。），将流量转发到要访问的 pod 所在的节点上去。
(2) kubelet
运行在每个计算节点上，作为agent负责和节点上的 Docker 交互，例如启停容器，监控运行状态等。接受分配该节点的Pods任务及管理容器，周期性获取容器状态，反馈给kube-apiserver。
二、kubernetes 部署
1.安装前工作：
(1)清理其它docker版本和依赖软件：
yum -y remove docker
yum -y remove docker-selinux
yum remove docker-common-1.10.3-46.el7.centos.14.x86_64 -y
yum remove docker-common -y
2.安装k8s master
yum install etcd
yum install kubernetes-master docker
-
安装kubernetes-node 会自动依赖安装docker，所以可以在kubernetes-master上先安装kubernetes-node，借此安装docker然后在卸载kubernetes-node。
-
etcd配置：
# vim /etc/etcd/etcd.conf 将以下几行进行修改，完成后保存退出。
ETCD_NAME=default
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://10.13.32.223:2379"
ETCD参数说明
重要的参数用途：
—data-dir 指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定—wal-dir，还会存储WAL文件；
—wal-dir 指定节点的was文件的存储目录，若指定了该参数，wal文件会和其他数据文件分开存储。
—name 节点名称
—initial-advertise-peer-urls 告知集群其他节点url.
— listen-peer-urls 监听URL，用于与其他节点通讯
— advertise-client-urls 告知客户端url, 也就是服务的url
— initial-cluster-token 集群的ID
— initial-cluster 集群中所有节点
k8s 配置1：
#vim /etc/kubernetes/apiserver
KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.17.101:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.73.18.0/24"
k8s 配置2：
#vim /etc/kubernetes/controller-manager
KUBE_CONTROLLER_MANAGER_ARGS="--node-monitor-grace-period=10s --pod-eviction-timeout=10s"
k8s 配置3：
#vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.17.101:8080"
启动顺序：
systemctl enable etcd
systemctl enable kube-apiserver kube-scheduler kube-controller-manager
systemctl start etcd
systemctl start kube-apiserverkube-schedulerkube-controller-manager
最后还要执行命令：
etcdctl mk/coreos.com/network/config'{"Network": “192.168.1.0/24" }'
这个不设置会导致后面flanneld起不来，进而导致docker启动不了
3.安装k8s minion：
yum install flannel
yum install kubernetes-node
docker会自动安装
安装kubernetes-node 会自动依赖安装docker）
安装flannel：(k8s master 可以用不用安装)
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
- flannel配置2：
#vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://10.13.32.223:2379"
FLANNEL_ETCD_KEY="/coreos.com/network"
- k8s minion配置1：
kubernetes node配置文件进行修改：
#vim /etc/kubernetes/config
KUBE_MASTER="--master=http://10.13.32.223:8080"
- k8s minion配置2：
#vim /etc/kubernetes/kubelet`
KUBELET_HOSTNAME="--hostname_override=10.73.18.81"
KUBELET_API_SERVER="--api_servers=http://10.13.32.223:8080"
启动顺序：（非常关键）
- 先启动docker：
systemctl enable docker
systemctl start docker
- 再启动flannel：
systemctl enable flanneld.service
systemctl restart flanneld.service
- 重启docker：
systemctl restart docker
- 启动kubelete 和kube-proxy服务：
systemctl enable kubelet kube-proxy
systemctl start kubelet kube-proxy
三、注意事项
1.etcd 需要初始化网段信息
安装完etcd服务后，还要执行命令：
etcdctl mk/coreos.com/network/config'{"Network": “192.168.1.0/24" }'
- 因为flannel 会依赖etcd的容器网段信息，这个不设置会导致后面flanneld起不来，进而导致docker启动不了。
2.etcd 集群模式启动配置
/usr/lib/systemd/system/etcd.service文件中通过systemd启动：
- docker 和k8s minion（安装命令为yum install kubernetes-node） 会有依赖关系，安装最好通过yum 命令来安装让其自动解决。
- 或者通过二进制文件进行安装，即从git-hub上下载编译好的k8s，把k8s组件的各个二进制文件拷贝到对应的master和minion上，即可使用。
