kubernetes安装文档 (kubeadm安装)
一.安装Docker (所有主机)
- 安装一些工具
yum install -y yum-utils device-mapper-persistent-data lvm2
- 配置下载源,阿里云的
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
- 安装并启动docker
yum install -y docker-ce
systemctl start docker && systemctl enable docker
- 配置一下参数:
(1) 配置docker registry的地址,采用阿里云的
(2)配置cgroup (Docker 默认使用 cgroupfs,Kubernetes 官方推荐 systemd)
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://pcy9sknd.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl daemon-reload && systemctl restart docker
二. 安装 Kubeadm(所有主机)
1.设置 Kubernetes 的 yum 仓库源,阿里云的
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2.安装 Kubeadm 和相关工具
yum install -y kubelet kubeadm kubectl --nogpgcheck
备注:安装需要加上--nogpgcheck 否则会报错如下:
Failing package is: kubectl-1.16.2-0.x86_64
GPG Keys are configured as: https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
- 启动 Kubelet
systemctl start kubelet && systemctl enable kubelet
配置文件位置/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
三. 基础环境配置(所有主机)
1.设置各节点时间精确同步
systemctl start chronyd.service && systemctl enable chronyd.service
2.关闭 firewalld 防火墙(允许 master 和 node 的网络通信)
由于 Master 和 Node 存在大量网络交互,需对防火墙进行相关配置
外网环境:在防火墙上配置各组件相互通信的端口
内网环境:直接关闭防火墙,减少防火墙规则的维护工作
systemctl stop firewalld && systemctl disable firewalld
3.关闭 SElinux 安全模组(让容器可以读取主机的文件系统)
setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config
4.关闭 Swap 交换分区(启用了 Swap,则 Qos 策略可能会失效)
swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab
5.导入 IPVS 模块(用来为大量服务进行负载均衡)
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
6.修改 Bridge 桥接规则(部分 Docker 安装时会为我们修改,这里统一进行手动修改)
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
sysctl --system
7.开启 iptables 的 FORWARD 转发链(Docker 1.13 后禁用了 FORWARD 链,这可能会引起 Pod 间无法通信)
iptables -P FORWARD ACCEPT
sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service
systemctl daemon-reload
8.配置 Hosts 解析(添加 k8s 所有节点的 IP 和对应主机名,否则初始化的时候会出现告警甚至错误)
tee /etc/hosts <<-'EOF'
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.0.123 kube-master
192.168.0.122 kube-node1
192.168.0.121 kube-node2
EOF
9.安装一些必要的工具(这些工具在以后的命令中会用到)
yum install -y ipset
yum install -y ipvsadm
yum install -y bind-utils
三、创建 Kubernetes 集群
1. 初始化 Master 节点
1.执行初始化
# 修改初始化配置文件
cat > master-init.yaml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.0.123
bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
networking:
dnsDomain: cluster.local
podSubnet: <network-segment>
EOF
# 执行初始化
kubeadm init --config master-init.yaml
注意:
初始化之后会安装网络插件,由于各个网络插件使用的网段不一样,
故需对 命令中的 --pod-network-cidr=<network-segment> 或文件中的 podSubnet: <network-segment> 进行自定义配置,
(Calico 的默认网段:192.168.0.0/16,Flannel 的默认网段:10.244.0.0/16)
- 按照提示,复制配置文件到普通用户目录
root用户配置
# 拷贝配置文件到 Master 节点
mkdir /root/.kube
cp -i /etc/kubernetes/admin.conf /root/.kube/config
# 分发配置文件到各 Node 节点(让 Node 节点使用 `kubectl`)
scp -r /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config
scp -r /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config
3.安装 CNI 网络插件
安装calico
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml
4.检查 Master 的 Pod 及 集群状态
使用 kubectl get pod -n kube-system -o wide,查看 Pod 状态均为 Runing 即可
使用 kubectl get node -o wide,查看 Node 状态为 Ready 表示 Master 初始化完成
2. 初始化 Node 节点
1.初始化 Node
使用 Master 初始化时的命令进行初始化即可,Node 节点初始化后,就直接加入了集群
kubeadm join <master-ip>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<sha256>
注意:没有记录集群 join 命令的可以通过以下方式重新获取
sudo kubeadm token create --print-join-command --ttl=0
2.检查 Node 的 Pod 及 集群状态
使用 kubectl get pod -n kube-system -o wide,查看 Pod 状态均为 Runing 即可
使用 kubectl get node -o wide,查看 所有节点 状态均为 Ready 表示 Master 初始化完成
五. 重置 Kubernetes 集群
#kubeadm 集群重置
kubeadm reset
#iptables 规则清理
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
#ipvs 规则清理
ipvsadm --clear
#kubernetes 配置文件清理
rm -rf ~/.kube
#etcd 配置清理
rm -rf /var/lib/etcd
#cni 网络插件清理
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
参考:https://www.jianshu.com/p/789bc867feaa
其他:docker 非root用户能运行: https://www.jianshu.com/p/828ad87ab262