一文教你从零快速搭建k8s集群

2021-10-26 本文已影响0人小螺旋丸

1.引言

k8s想必大家并不陌生，它可以方便我们进行docker容器的集中管理和编排操作，减小运维难度，提升服务质量，本文就让我们来一起看一下如何从零快速搭建k8s集群吧。

2.服务器硬件要求

在部署k8s集群之前，服务器需要满足以下条件：

1.三台虚拟机服务器（推荐使用vmware下载镜像安装），操作系统CentOS 7.x-86_x64。
2.硬盘最低配置：内存2GB，CPU2核，硬盘30GB。
3.机器之间网络互通。
4.可以访问外网，需要拉取镜像。
5.禁止swap分区。（kubernetes的想法是将实例紧密包装到尽可能接近100％。所有的部署应该与CPU /内存限制固定在一起。所以如果调度程序发送一个pod到一台机器，它不应该使用交换。设计者不想交换，因为它会减慢速度，所以关闭swap主要是为了性能考虑）

3. 部署方式以及区别

目前部署k8s集群主要有两种方式：

3.1.kubeadmin
kubeadm是一个k8s部署工具，提供kubeadmin init初始化集群和kubeadm join加入集群，用于快速部署k8s集群。
3.2.二进制包
从GitHub下载发行版的二进制包，手动部署每个组件，组成k8s集群。

目前k8s的组件都是通过systemd来维护的，所以二进制安装，调试bug比较方便。

普遍性来讲，使用kubeadm可以带来标准化安装的完整步骤。并且kubeadm已经是一个开源项目，团队投入精力，后面产出都融入到这个项目中了。而二进制安装属于优化版本，自己维护，自己使用。没有社区的协作，之后的维护成本高于回报。如果没有特别的要求，推荐直接使用kubeadm组件来搭建自己的安装k8s的工具链。

4. 搭建k8s集群

4.1 准备环境
k8s-master 192.168.40.136
k8s-node1 192.168.40.139
k8s-node2 192.168.40.140

节点ip根据自己的实际ip而定，虚拟机设置一下固定ip，避免重启后ip发生变化！

4.2 系统初始化

关闭防火墙：

systemctl stop firewalld

禁止防火墙开机自启：

systemctl disable firewalld

关闭selinux：

# 永久关闭（需重启）
sed -i 's/enforcing/disabled/' /etc/selinux/config
reboot
#临时关闭
setenforce 0

关闭swap分区：

# 永久关闭（需重启）
sed -ri 's/.*swap.*/#&/' /etc/fstab
reboot
#临时关闭
swapoff -a

设置主机名：

# 在master上执行
hostnamectl set-hostname k8s-master
# 在node1上执行
hostnamectl set-hostname k8s-node1
# 在node2上执行
hostnamectl set-hostname k8s-node2

在每个节点添加hosts：

# 改为自己实际ip
cat >> /etc/hosts << EOF
192.168.40.136 k8s-master
192.168.40.139 k8s-node1
192.168.40.140 k8s-node2
EOF

将桥接的IPv4流量传递到iptables的链：

在每个节点添加如下的命令：

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

# 加载br_netfilter模块
modprobe br_netfilter
# 查看是否加载
lsmod | grep br_netfilter
# 生效
sysctl --system

在每个节点添加时间同步：

# 安装ntpdate时间同步插件
yum install ntpdate -y
# 开启时间同步
ntpdate time.windows.com

在每个节点安装ipset和ipvsadm：

# 安装
yum -y install ipset ipvsadm
# 配置
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 授权、运行、检查是否加载：
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

4.3 所有节点安装Docker/kubeadm/kubelet/kubectl

k8s默认CRI（容器运行时）为Docker，因此需要先安装Docker！

所有节点安装Docker：

# 获取镜像源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
# 安装
yum -y install docker-ce-18.06.3.ce-3.el7
# 设置开机自启动并启动
systemctl enable docker && systemctl start docker
# 查看版本
docker version
# 设置镜像加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"], 
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF
# 重载配置
sudo systemctl daemon-reload
# 重启docker
sudo systemctl restart docker
# 添加阿里云的yum软件源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm、kubelet和kubectl：

# 指定版本号安装
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
# 为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，需要修改"/etc/sysconfig/kubelet"文件的内容：
vim /etc/sysconfig/kubelet
# 修改
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
# 设置开机自启动
systemctl enable kubelet

4.4 部署k8s的Master节点

# 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里需要指定阿里云镜像仓库地址
# 只在master执行
kubeadm init \
  # 此处填写实际ip，其他地方不用动
  --apiserver-advertise-address=192.168.40.136 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.18.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16
# 配置环境变量（只在master执行） 
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

4.5 添加k8s的Node节点

# 在master节点获取token：
kubeadm token create --print-join-command --ttl 0
# 在node1和node2添加如下的命令向k8s集群中添加Node节点（为上方命令返回的内容，复制即可）：
kubeadm join 192.168.40.136:6443 --token yruyio.n4hal2qdb5iweknf     --discovery-token-ca-cert-hash sha256:0ac7ed632224e1e07cef223b1159d03b2231dfc0456817db7eaf3c8651eef49c
# 获取所有节点（正常可以获取到master，node1和node2）
kubectl get nodes

4.6 部署CNI网络插件

在master节点部署CNI网络插件：

# 此链接被墙了，需要科学上网解决，或者在文末获取相关资源
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml
# 查看部署进度(可能会出现镜像拉取失败的情况，耐心等待一会就好了)
kubectl get pods -n kube-system

查看集群健康状态：

kubectl get cs
kubectl cluster-info

至此，k8s集群基本搭建完毕！

5.测试kubernetes集群

在Kubernetes集群中创建一个pod，验证是否正常运行，这里以nginx为例：

# 创建deployment
kubectl create deployment nginx --image=nginx
# 修改端口类型为nodePort供外界访问 编辑方式跟vim一样
kubectl edit svc nginx
...
spec:
  clusterIP: 10.106.212.113
  externalTrafficPolicy: Cluster
  ports:
  # 外界暴露指定端口 32627（30000-32767）
  - nodePort: 32627
    # 容器暴露的端口
    port: 80
    protocol: TCP
    # 集群内访问的单口
    targetPort: 80
  selector:
    app: nginx
  sessionAffinity: None
  # type改为NodePort
  type: NodePort
  ...

访问 http://192.168.40.136:32627：

测试访问

至此，我们已经成功部署了一个nginx的deployment，deployment控制对应的pod的生命周期，service则对外提供相应的服务。

6.部署 Dashboard

Dashboard是k8s的一套桌面管理应用，通过Dashboard我们可以通过可视化的方式查看k8s集群的状态，执行相关的操作，但没有kubectl来的简单直接，了解一下即可。

首先需要下载kubernetes-dashboard.yaml，这个文件现在也被墙了，大家可以通过科学上网或者文末获取！

在master执行以下命令：

kubectl apply -f kubernetes-dashboard.yaml
# 开启代理 ip写自己实际ip
kubectl proxy --address=192.168.40.136 --disable-filter=true &

访问https://192.168.40.136:30001

谷歌访问可能会被禁止，可以通过以下操作解决：

mkdir key && cd key
#生成证书
openssl genrsa -out dashboard.key 2048 
openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.246.200'
openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt 
#删除原有的证书secret
kubectl delete secret kubernetes-dashboard-certs -n kube-system
#创建新的证书secret
kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kube-system
#查看pod复制dashboard的pod名称
kubectl get pod -n kube-system
#重启pod（删除会自动重启）
kubectl delete pod <pod name> -n kube-system

如下，通过令牌方式访问：

令牌访问

获取token：

kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/cluster-admin/{print $1}')

复制，点击登录，稍等片刻即可：

Dashboard

结语

本文到这里就结束了，主要介绍了k8s集群的部署方式以及具体步骤，感兴趣的朋友可以在本地虚拟机搭建一套，至于k8s中组件的作用以及使用方式，大家可以在网上自行查阅，在集群中执行相关命令自行体会学习，k8s在实际的生产中主要用于系统的自动化部署，自动扩缩容等，帮助我们提升运维效率，作为程序员我们也要熟悉其常用的命令以及原理，掌握到一定程度之后可以尝试基于k8s开发一套自动化运维管理平台，可以扩充我们的知识面，提升自己的技术水平！

注：关注公众号螺旋编程极客发送 k8s 获取相关yaml资源