k8s部署nacos
一、下载官方提供的nacos-k8s包
git clone https://github.com/nacos-group/nacos-k8s.git
naocs-k8s
二、部署NFS
Nacos在K8S拥有自动扩容缩容和数据持久特性,请注意如果需要使用这部分功能请使用PVC持久卷,Nacos的自动扩容缩容需要依赖持久卷,以及数据持久化也是一样,本例中使用的是NFS来使用PVC.
2.1 安装nfs服务
master,node01,node02 安装 nfs-utils
yum -y install nfs-utils rpcbind
master,node01,node02添加nfs exports配置，为了解决后续的nfs报错异常
在三个节点创建以下三个目录：
mkdir -p /data/nfs-share
mkdir -p /data/mysql
chmod 777 /data/nfs-share
chmod 777 /data/mysql
vi /etc/exports
三个节点增加以下的配置
/data/mysql*(insecure,fsid=0,rw,async,no_root_squash)
/data/nfs-share *(rw,fsid=0,async,no_root_squash)
启动并设置开机启动nfs：
systemctl enable nfs
systemctl enable rpcbind
systemctl start nfs
systemctl start rpcbind
2.2 创建角色
K8S命名空间不是default，请在部署RBAC之前执行以下脚本:
# Set the subject of the RBAC objects to the current namespace where the provisioner is being deployed
NS=$(kubectl config get-contexts|grep -e "^\*" |awk '{print $5}')
NAMESPACE=${NS:-default}
sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" ./deploy/nfs/rbac.yaml
使用默认民命空间default，使用下面命令创建创建
kubectl create -f deploy/nfs/rbac.yaml
2.3 创建 ServiceAccount 和部署 NFS-Client Provisioner
kubectl create -f deploy/nfs/deployment.yaml
2.4 创建 NFS StorageClass
kubectl create -f deploy/nfs/class.yaml
2.5 验证NFS部署成功
kubectl get pod -l app=nfs-client-provisioner
部署成功
如果发现pods状态一直如下，可以使用如下方式查看错误信息：
kubectl describe pods nfs-client-provisioner-9647df776-szzx8
创建过程中可能docker镜像下载很慢，请耐心等待.
2.6 如果镜像无法下载怎么办
通过describe命令发现image一直在pulling：
pilling
可以更换deployment.yaml中的镜像地址：
registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner:latest
三、部署mysql
这里建议使用外部数据，如果要使用yaml安装，则使用如下方式。
修改mysql-nfs.yaml文件
apiVersion: v1
kind: ReplicationController
metadata:
name: mysql
labels:
name: mysql
spec:
replicas: 1
selector:
name: mysql
template:
metadata:
labels:
name: mysql
spec:
containers:
- name: mysql
image: nacos/nacos-mysql:5.7
ports:
- containerPort: 3306
volumeMounts:
- name: mysql-data
mountPath: /var/lib/mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: "root"
- name: MYSQL_DATABASE
value: "nacos_devtest"
- name: MYSQL_USER
value: "nacos"
- name: MYSQL_PASSWORD
value: "nacos"
volumes:
- name: mysql-data
nfs:
server: 192.168.184.139
path: /data/mysql
---
apiVersion: v1
kind: Service
metadata:
name: mysql
labels:
name: mysql
spec:
ports:
- port: 3306
targetPort: 3306
selector:
name: mysql
查看状态：
[root@k8s-master deploy]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-9lbkp 1/1 Running 0 3m30s 10.244.4.9 k8s-node2 <none> <none>
nfs-client-provisioner-557df77947-npjdt 1/1 Running 0 33m 10.244.4.2 k8s-node2 <none> <none>
四、部署nacos
kubectl create -f nacos/nacos-pvc-nfs.yaml
如果出现如下问题：
pending
使用以下方式修改，在kube-apiserver.yaml中增加以下配置，kubeadmin安装的k8s会自动重启：
vi /etc/kubernetes/manifests/kube-apiserver.yaml
增加以下内容
- --feature-gates=RemoveSelfLink=false
apiserver配置
修改后查看pod
问题
删除nacos和pvc，重新创建
kubectl delete -f deploy/nacos/nacos-pvc-nfs.yaml
kubectl delete pvc datadir-nacos-0 logdir-nacos-0 plugindir-nacos-0
重点问题
1、使用nacos-pvc-nfs.yaml方式发现仍然无法启动成功，无法挂载到指定路径，导致服务整个无法启动，这里记录一下，暂时还没发现什么问题导致的。
所以本文先使用nacos-quick-start.yaml方式，直接启动：
kubectl create -f nacos/nacos-quick-start.yaml
2、发现有一个节点是pending，是因为，k8s默认主节点master不部署服务，这里面改下配置就可以了：
kubectl taint nodes --all node-role.kubernetes.io/master-
记得使用NodePort或者Ingress的方式暴露外网访问。
3、节点启动后发现页面访问失败，使用如下方式解决
确定pod是否成功启动，使用logs命令查看。基本都是因为服务没有起来导致无法访问。而nacos则基本是因为数据库配置导致的。注意看nacos的yaml数据库配置。
如果启动成功，还不能解决，尝试以下方案
修改Docker启动参数，在[Service] 区域末尾加上参数：
vi /usr/lib/systemd/system/docker.service
# 添加以下配置
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT
systemctl daemon-reload
systemctl restart docker
