• 1.简介
  • 1.1.硬件
  • 1.2.软件
• 2.搭建过程
  • 2.1.Docker安装
  • 2.2.k8s集群搭建
  • 2.3.基于k8s安装kubersphere
    • 2.3.1.搭建nfs服务
    • 2.3.2.创建基于NFS的DefaultStorageclass
    • 2.3.3.安装kubesphere
  • 2.4.基于Docker安装Jenkins
    • 2.4.1.配置免密访问
    • 2.4.2.k8s上创建docker注册服务器的Secret
    • 2.4.3.编写jenkins部署脚本
• 3.Over

1.简介

基于k8s搭建的一套CI/CD系统，其目的是方便k8s和服务端相关技术的实践，在搭建过程中会涉及docker、dockerhub、k8s、github、jenkins、kubesphere

image.png

1.1.硬件

一台Mac物理机+3台Centos虚拟机

• Mac物理机 安装了Docker、在Docker中启动Jenkins容器（使用windows、linux也是ok的）
• 3台Centos虚拟机 部署k8s集群，集群中一个master节点，两个工作节点

1.2.软件

• docker 容器引擎
• dockerhub 官方的docker镜像注册服务器（可以在本地搭建Harbor代替）
• k8s 一个容器编排管理工具，用于部署应用程序
• github 源代码仓库（可以在本地搭建gitlab代替）
• jenkins 发布工具
• kubesphere k8s的web管理工具

2.搭建过程

2.1.Docker安装

Docker是这个教程的基石，对Docker一点都不了解的同学，建议去B站看一下我发布的Docker小白快速入门+实战，课程比较简洁，主要帮助不了解Docker的同学快速掌握并应用
安装命令如下

sudo yum install -y yum-utils  
sudo yum-config-manager  --add-repo https://download.docker.com/linux/centos/docker-ce.repo  
sudo yum install -y docker-ce docker-ce-cli containerd.io  
sudo systemctl enable docker  
sudo systemctl start docker  
sudo docker run hello-world

2.2.k8s集群搭建

k8s是一个容器编排工具，可以轻松实现应用的扩/缩容、集群等，具体安装方式参考文档我的k8s集群安装

2.3.基于k8s安装kubersphere

这是k8s的一个web管理界面，用于简化k8s的操作。

2.3.1.搭建nfs服务

在k8s继续的所有节点上都需要安装nfs-utils、rpcbind，搭建步骤参考我的Centos7搭建NFS服务端

2.3.2.创建基于NFS的DefaultStorageclass

kubesphere明确说明基于k8s安装需要配置DefaultStorageclass，创建步骤参考我的k8s基于NFS创建Storageclass

2.3.3.安装kubesphere

安装时间会有一点长，安装步骤参考我的k8s集群安装Kubersphere

2.4.基于Docker安装Jenkins

jenkins在这里是作为一个纽带的作用，因为jenkins在构建项目时可以执行shell脚本，因此通过shell脚本轻松的将github、docker注册服务器、k8s集群三者关联起来，从而简化jenkins的使用（就是一个偏运维的工具而已）

这里之所以使用Docker安装Jenkins，是因为我不想在物理机上安装jenkins（毕竟只是一个工具），而虚拟机已经启动了三台，再创建就会影响我的物理机性能，所以这里直接使用物理机的Docker跑Jenkins，用完就删了。
安装步骤参考我的基于Docker安装Jenkins

2.4.1.配置免密访问

免密访问k8s集群的master服务器
参考我的Linux配置免密登录，这里需要进入jenkins容器内部进行操作

配置github的ssh key访问

# 生成ssh的公钥和私钥
ssh-keygen -t rsa -C "你的邮箱"
# 根据提示进入公钥所在目录
# 拷贝公钥并在github上进行配置

2.4.2.k8s上创建docker注册服务器的Secret

kubectl create secret docker-registry pwz-secret  \
--docker-server=index.docker.io \
--docker-username=pingwazi0101 \
--docker-password=***\
-n pingwazi

2.4.3.编写jenkins部署脚本

在jenkins创建一个自由风格的软件->填写仓库地址->编写如下脚本

echo "开始部署"
projectName="gocode" # 项目名称
branchName="main" # 分支名称
env="qa" # 发布环境
k8sHost="172.16.255.**"  #k8s集群的master节点ip 
k8sUser="root" # k8s集群的master节点的登录账号
k8sDeployPath="/usr/local/k8s/deploy/" # k8s集群的部署目录
latestCommitID=$(git rev-parse --short HEAD)  # 最近一次提交id
workDir="${k8sDeployPath}${projectName}" # 发布操作的工作目录
imageNameTemplate="pingwazi0101/imagename" # yaml文件中的进行名占位内容
imageName="pingwazi0101/${projectName}:${branchName}${latestCommitID}" # 进行名


# 上传文件到k8s服务器
scp -r ./ ${k8sUser}@${k8sHost}:${workDir}

ssh ${k8sUser}@${k8sHost} <<eof
# 跳转到工作目录
cd ${workDir}
# 构建镜像
docker build -t ${imageName} .
# 登录镜像服务器
cat /usr/local/password/dockerhub|docker login -u pingwazi0101 --password-stdin 
#推送进行
docker push ${imageName}
# 删除本地镜像
docker rmi -f ${imageName}
# 退出登录镜像服务器
docker logout

#构建部署文件并部署
kubectl  kustomize ./deploy/overlays/${env}/ |sed  "s#${imageNameTemplate}#${imageName}#" - | kubectl apply -f -  

# 清空当前目录下的所有文件
rm -rf *
# 退出
exit
eof
echo "部署完成"

3.Over

一个简单的CI/CD系统就搭建完成了，后面可以把更多的重心放在k8s资源文件的编写上，理解yaml中各节点的含义也是一项不小的工作量，搞清楚k8s的各个模块，对服务端的架构设计是有益的。