k8s集群部署

2022-04-25 本文已影响0人宏势

三台机器分别是：master1（172.16.22.27），master2（172.16.22.28），master3（172.16.29）

kubeadm 方式

1. 安装运行时

目前主流运行时有containerd，docker，CRI-O，只需选择一种就可以，推荐使用containerd，不管是master还是node都需要安装运行时。

安装docker

docker具体使用可参考https://juejin.cn/post/6873395391112019982

安装containerd

安装和配置的先决条件

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

# 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在。
cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

# 应用 sysctl 参数而无需重新启动
sudo sysctl --system

安装配置

#安装
yum install containerd.io

#配置
containerd config default > /etc/containerd/config.toml #生成配置文件
#配置cgroup driver 为 systemd
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  ...
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    SystemdCgroup = true

#重启
systemctl restart containerd

注意：确保kubelet的cgroup的驱动与containerd 驱动保持一致，不然会导致k8s初始化失败，修改/etc/sysconfig/kubelet文件 --cgroup-driver=cgroupfs 或者 --cgroup-driver=systemd

2. Keepalived 安装

控制平面采用keepalived+vip实现高可用（HA）
具体配置见：https://www.jianshu.com/p/8e8d318876c7

3.ETCD安装

Kubernete底层存储是采用etcd，高可用集群有两个选项：外部etcd，堆叠模式，推荐使用外部etcd方式

外部etcd
etcd 分布式数据存储集群在独立于控制平面节点的其他节点上运行
每个etcd成员与每个节点的kube-apiserver通信，该拓扑结构解耦了控制平面和etcd成员

外部etcd.png

堆叠模式
HA集群默认拓扑结构，每个控制平面节点创建一个本地etcd成员，该成员只与该节点的kube-apiserver通信，同样适用于本地 kube-controller-manager 和 kube-scheduler 实例。该模式设置简单，但etcd成员跟控制平面强耦合

堆叠模式.png

具体安装见https://www.jianshu.com/p/bc060063450e

3. 配置k8s阿里云源或者（imdingtalk）

cat > /etc/yum.repos.d/kubernetes.repo << EOF
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

4. 安装 kubeadm kubelet kubectl

kubeadm kubelet kubectl 统称为k8s三剑客

kubeadm 初始化k8s集群的工具详细命令见：kubeadm -h
kubelet 每个节点守护进程
kubectl k8s集群命令行工具 kubectl -h

# 控制平面节点和运行节点都需要
yum install -y  kubeadm-1.20.5 kubectl-1.20.5 kubelet-1.20.5

5. 初始化集群

先在master1机器上执行一下操作

#初始化配置文件
kubeadm config print init-defaults  > /etc/kubeadm-config.yaml

通过配置定制化组件

#配置InitConfiguration
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
....
  criSocket: "/run/containerd/containerd.sock" #指定读取运行时信息
localAPIEndpoint:
#advertiseAddress: "172.16.22.27" #设置API服务器要公布的IP地址，可不设置，自动读取ip地址
  bindPort: 6443 #默认端口

#ClusterConfiguration配置
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: "v1.20.5" #指定安装版本
controlPlaneEndpoint: "172.16.22.200:6443" #指定控制面负载均衡ip地址或者dns地址+端口，可指定keepalived vip
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "registry.aliyuncs.com/google_containers"  #指定镜像仓库地址
clusterName: "kubernetes" #集群的名称
dns:
   type: CoreDNS #定义DNS插件
etcd:
   external:
       endpoints:
        - https://172.16.22.27:2379
        - https://172.16.22.28:2379 
        - https://172.16.22.29:2379
        caFile: /etc/etcd/pki/ca.crt
        certFile: /etc/etcd/pki/etcd.crt
        keyFile: /etc/kubernetes/pki/etcd.key
networking:
  serviceSubnet: "10.96.0.0/16"  #Kubernetes 服务所使用的的子网，集群网络
  podSubnet: "10.244.0.0/24" #Pod 所使用的子网
  dnsDomain: "cluster.local"
scheduler: {}
controllerManager: {}

#配置KubeletConfiguration
---
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
cgroupDriver: systemd #配置设置kubelet 的cgroupDriver

详细参数见https://kubernetes.io/zh/docs/reference/config-api/kubeadm-config.v1beta2/

#执行初始化
kubeadm init --config /etc/kubeadm-config.yaml

--upload-certs 标志用来将在所有控制平面实例之间的共享证书上传到集群（加密并上传到 kubeadm-certs Secret 中），如果喜欢手动，需要复制证书到其它控制面节点

输出类似于:

...
You can now join any number of control-plane node by running the following command on each as a root:
kubeadm join 192.168.0.200:6443 --token 9vr73a.a8uxyaju799qwdjv --discovery-token-ca-cert-hash sha256:7c2e69131a36ae2a042a339b33381c6d0d43887e2de83720eff5359e26aec866 --control-plane --certificate-key f8902e114ef118304e561c3ecd4d0b543adc226b7a07f675f56564185ffe0c07

Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use kubeadm init phase upload-certs to reload certs afterward.

Then you can join any number of worker nodes by running the following on each as root:
  kubeadm join 192.168.0.200:6443 --token 9vr73a.a8uxyaju799qwdjv --discovery-token-ca-cert-hash sha256:7c2e69131a36ae2a042a339b33381c6d0d43887e2de83720eff5359e26aec866
#耐心等待
 # 使非 root 用户可以运行 kubectl，请运行以下命令， 它们也是kubeadm init 输出的一部分：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
或者，如果你是 `root` 用户，则可以运行：
export KUBECONFIG=/etc/kubernetes/admin.conf

要重新上传证书并生成新的解密密钥，请在已加入集群节点的控制平面上使用以下命令：

kubeadm init phase upload-certs --upload-certs

6. 安装网络插件flannel

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml##修改对应参数

拷贝证书到其余master

for node in master2 master3; do
  ssh $node "mkdir -p ~/.kube/"
  scp /etc/kubernetes/pki/ca.crt $node:/etc/kubernetes/pki/ca.crt
  scp /etc/kubernetes/pki/ca.key $node:/etc/kubernetes/pki/ca.key
  scp /etc/kubernetes/pki/sa.key $node:/etc/kubernetes/pki/sa.key
  scp /etc/kubernetes/pki/sa.pub $node:/etc/kubernetes/pki/sa.pub
  scp /etc/kubernetes/pki/front-proxy-ca.crt $node:/etc/kubernetes/pki/front-proxy-ca.crtcs
  scp /etc/kubernetes/pki/front-proxy-ca.key $node:/etc/kubernetes/pki/front-proxy-ca.key
  scp /etc/kubernetes/admin.conf $node:/etc/kubernetes/admin.conf
  scp /etc/kubernetes/admin.conf $node:~/.kube/config
done

7. 加入master

kubeadm join 172.16.22.200:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash> --control-plane

8. 加入节点

#node加入集群
kubeadm join 172.16.22.200:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>

#重新生成token
kubeadm token create --print-join-command

安装dashboard（可选）

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

卸载

kubeadm reset -f
modprobe -r ipip
lsmod
rm -rf ~/.kube/
rm -rf /etc/kubernetes/
rm -rf /etc/systemd/system/kubelet.service.d
rm -rf /etc/systemd/system/kubelet.service
rm -rf /usr/bin/kube*
rm -rf /etc/cni
rm -rf /opt/cni
rm -rf /var/lib/etcd
rm -rf /var/etcd
yum clean all
yum remove kube*
ip link set cni0 down
ip link delete cni0

证书更换

1.查看证书过期信息

kubeadm certs check-expiration

2.重新生成证书

kubeadm certs renew all --config /etc/kubeadm-config.yaml

输出

renew.png

3.重启服务器或者重启kube-apiserver，kube-controller-manager，kube-scheduler服务（直接删除pod，自动重建）

v1.15版本之前参考https://github.com/yuyicai/update-kube-cert/

常见问题

k8s master机器重启，kubelet无法启动，是因为重启swap又开启
"cni0" already has an IP address different from x.x.x.x
删除cni0会自动重建，
ifconfig cni0 down
ip link delete cni0
云主机无法指定公网IP
kubeadm即开始了master节点的初始化，但是由于etcd配置文件不正确，所以etcd无法启动，要对该文件进行修改。文件路径"/etc/kubernetes/manifests/etcd.yaml" --listen-client-urls 和 --listen-peer-urls改成内网ip，因为公网ip没配，无法监听

k8s集群部署

kubeadm 方式

1. 安装运行时

安装docker

安装containerd

2. Keepalived 安装

3.ETCD安装

3. 配置k8s阿里云源或者（imdingtalk）

4. 安装 kubeadm kubelet kubectl

5. 初始化集群

通过配置定制化组件

6. 安装网络插件flannel

拷贝证书到其余master

7. 加入master

8. 加入节点

安装dashboard（可选）

卸载

证书更换

常见问题

猜你喜欢

热点阅读

k8s集群部署

kubeadm 方式

1. 安装运行时

安装docker

安装containerd

2. Keepalived 安装

3.ETCD安装

3. 配置k8s阿里云源 或者（imdingtalk）

4. 安装 kubeadm kubelet kubectl

5. 初始化集群

通过配置定制化组件

6. 安装网络插件flannel

拷贝证书到其余master

7. 加入master

8. 加入节点

安装dashboard（可选）

卸载

证书更换

常见问题

猜你喜欢

热点阅读

3. 配置k8s阿里云源或者（imdingtalk）