使用kubeadm搭建k8s集群

之前一直在写关于k8s的文章，但是一直没有写如何安装k8s的文章，今天抽时间简单的记录一下。关于k8s安装的文章网上的教程很多甚至还有一键安装的脚本，大家都可以参考参考。我今天主要是按照官方文档安装一个最简单的k8s集群。那么下面就来一起看一下吧。

一、前期准备

首先是准备4台服务器：1个master节点，3个普通的node节点。我购买的是腾讯云的服务器，配置均是2C4G，操作系统是centos 7.6。k8s要求服务器的最低配置是2C2G。
服务器内网Ip如下：

master ip 172.27.0.7
node01 ip 172.27.0.16
node02 ip 172.27.0.2
node03 ip 172.27.0.12

关于网络环境、开放端口等内容这里不在介绍了，官网文档都有相关说明，按照官方文档基本没有问题，另外说一下k8s的官方文档也支持中文，这个还是很友好的。

本次安装的k8s的版本为1.8.16。目前k8s的版本更新速度也是很快的，目前我们项目上使用的还是1.17.0版本。另外k8s的runtime我选择非常熟悉的docker，当然k8s支持的也比较多，比如：containerd和CRI-O。

二、安装docker

既然我们选择使用docker作为k8s的runtime，所以首先我们就要在每台服务器上安装docker。另外需要注意一点的是k8s的版本和docker的版本一定要适应，可以参考k8s的CHANGELOG地址。我这里选择的docker版本是19.03-11，而19.03也是k8s官方推荐的版本。
docker的安装可以按照k8s的教程也可以直接按照docker的官方文档。下面开始安装：

下面的安装都是以root用户运行
## 安装所需的包
yum install -y yum-utils device-mapper-persistent-data lvm2

## 建议使用阿里云
yum-config-manager --add-repo  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

## 安装最新版本docker
 yum install docker-ce docker-ce-cli containerd.io

## 安装指定版本19.03（官方推荐版本）
 yum install -y  containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11  

## 创建 /etc/docker目录
mkdir /etc/docker

## 设置docker配置文件
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "registry-mirrors": ["https://0gbs116j.mirror.aliyuncs.com","https://registry.docker-cn.com","https://mirror.ccs.tencentyun.com","https://docker.mirrors.ustc.edu.cn"],
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF

## 设置docker开机启动
mkdir -p /etc/systemd/system/docker.service.d

systemctl enable docker
systemctl daemon-reload
systemctl restart docker

## 查看docker信息
docker info 

三、服务器其他设置

安装好docker之后我们还需要对我们的服务器进行一些设置，比如关闭防火墙、关闭交换等等，这些我就统一放在一起了，这些也是需要在每台服务器上执行。
为了容器区分服务器，设置每台服务器的hostname:

## 设置主机名称
hostnamectl set-hostname <host_name>
## 查看
hostname

配置服务器相关参数：

## 配置内核参数，将桥接的IPv4流量传递到iptables的链
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

## 手动加载配置文件
sudo sysctl --system

## 防火墙关闭
systemctl stop firewalld
systemctl disable firewalld

## 将 SELinux 设置为 permissive 模式（相当于将其禁用）
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

## 关闭交换空间
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

## ip转发
echo '1' > /proc/sys/net/ipv4/ip_forward

四、安装master节点

到这里算是进入正式的安装步骤，我采用比较简单的kubeadm进行安装，当然如果愿意也可以尝试使用二进制安装。
因为国内网络的问题，所以建议配置包管理器时使用阿里云。

## 配置包管理器（使用阿里云）
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

因为这里是安装master所以需要安装kubelet、kubeadm和kubectl。

## 安装最新版
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
## 指定版本安装的版本
yum install -y kubelet-1.18.6  kubeadm-1.18.6  kubectl--1.18.6

安装好后需要设置kubelet开机启动，后面初始化的时候需要保证kubelet处于运行状态。

## kubelet设置自启动
systemctl enable --now kubelet

接下来我们需要完成master的初始化：

kubeadm init --kubernetes-version=1.18.6 \
--apiserver-advertise-address=<ip>  \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16 \
--upload-certs | tee kubeadm-init.log

关于初始化参数的内容可以看官方文档。我这里主要指定了apiserver的ip（这里自己在安装的时候也遇到了一个坑）。还有就是k8s中SVC和POD的网络地址，需要避免二者冲突，当然service-cidr也可以直接使用默认值，另外还配置了使用阿里云的镜像仓库地址。
之后有下面的输出，表示初始化成功：

图-1.png

最后的那个kubeadm命令我们可以复制并保存起来，以便node节点加入到k8s集群。

接下来我们就按照提示为普通用户配置使用k8s的权限：

## 普通用户执行权限
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

## 或者root执行
export KUBECONFIG=/etc/kubernetes/admin.conf

当然，到这里还没有介绍，我们还差了一个很重要的东西，就是网络组件。至于选择calico还是flannel见仁见智吧，我们目前是开发和测试使用的calico，生产使用的是flannel，原因吗，开发和生产的集群不是一个人装的....我这里选择了是calico。

## 使用最新版本
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
## 我选择3.8版本
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

到这里我们的master节点就安装完成了，接下来就是安装普通的node节点。

五、安装node节点

安装普通的node节点和master节点基本上差不多，也是需要安装docker并修改服务器配置，这点二者完全相同，不同的地方在于普通的node节点无需安装kubectl，还有就是不需要安装calico。calico是由其实在每台服务器上都是以daemonset方式运行的，只要一个node节点加入的k8s的集群，k8s都会自动在该节点创建一个calico的Pod。下面我们就安装kubelet和kubeadm，并加入到k8s集群中：

### 指定版本
yum install -y kubelet-1.18.6 kubeadm-1.18.6

## kubelet自启动
systemctl enable kubelet
systemctl start kubelet

输出如下：

图-2.png

接下来我们就将该节点加入的k8s集群，复制master成功后的命令：

kubeadm join 172.27.0.7:6443 --token 7lrxdu.oia8oorf1r60ja0x \
    --discovery-token-ca-cert-hash sha256:56f86aba305beda6ad6ccf744ac236f46045147831960c9fcc42d88e6f9329bf 

## 如果token过期可以直接在master执行下面的命令重新获取token，然后重新复制即可。
kubeadm token create --print-join-command

在每一台node节点服务器执行上面的安装过程。最后我们在master看一下，整个集群的节点运行情况:

kubectl  get node

我们可以看下k8s相关组件的情况：

kubectl get pod -n kube-system -o wide

图-3.png
可以看到apiserver、coreDNS、kube-proxy、calico、etcd等必备组件的运行状态。

另外：如果想在一个普通的k8s节点使用kubectl命令：

复制master下的admin.conf到node节点相同的目录
/etc/kubernetes/admin.conf

### 然后重置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile

六、遇到的问题

自己在安装k8s的过程中也遇到了一些问题，虽然最终解决了，但是还是不是很理解，这里列举一下。

1、初始化失败

在初始化master节点的时候，第一次我配置的apiserver的ip是服务器的外网ip，结果就是导致master初始化失败，报错如下：

图-4.png
看了kubelet的状态是运行中，然后报错是连接apiserver报错，通过docker查看容器发现etcd和apiserver一直启动失败并重启，查看etcd容器的日志只显示：
etcd: listen tcp <外网ip>:2380: bind: cannot assign requested address。
这个日志感觉也不像是错误日志。自己网上找了很多资料也没有解决这个问题，后来想想是不是应该用内网ip，果然换了内网ip之后就初始化成功了。因为自己对k8s还有服务器这块了解比较少，所以也不太清楚是什么原因，而且服务器的端口全是对外开放的。如果有了解的还希望指点一下。

2、网络问题

[ERROR FileContent--proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1
解决:
echo '1' > /proc/sys/net/ipv4/ip_forward

这个问题其实不止在这次自己安装k8s的时候遇到过。在我们项目的开发环境上，自己前段时间也是添加了一个node节点到k8s集群，结果就是这个集群中有三个节点(包括新增的节点)之间的网络通信异常，自己也一直没解决，最后找到运维的同事排查才发现是新增的节点/proc/sys/net/ipv4/ip_forward没有设置为1。

---

最后

本次使用kubeadm搭建一个最简单的k8s集群就到这里了，有什么问题欢迎大家留言讨论，另外也请大家关注一下我的VX个人号超超学堂，非常感谢大家的支持和关注～～～～～～