Jenkins Pipeline 实现单点和分布式部署
CI/CD持续集成/持续部署
-
持续集成(Continuous integration)是一种软件开发实践,即团队开发成员经常集成它们的工作,通过每个成员
每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动
化测试)来验证,从而尽早地发现集成错误。
比如(你家装修厨房,其中一项是铺地砖,边角地砖要切割大小。如果一次全切割完再铺上去,发现尺寸有误的话,浪费和返工时间就大了,不如切一块铺一块。这就是持续集成。) -
持续部署(continuous deployment)是通过自动化的构建、测试和部署循环来快速交付高质量的产品。某种程度上代表了一个开发团队工程化的程度,毕竟快速运转的互联网公司人力成本会高于机器,投资机器优化开发流程化相对也提高了人的效率。比如(装修厨房有很多部分,每个部分都有检测手段,如地砖铺完了要测试漏水与否,线路铺完了要通电测试电路通顺,水管装好了也要测试冷水热水。如果全部装完了再测,出现问题可能会互相影响,比如电路不行可能要把地砖给挖开……。那么每完成一部分就测试,这是持续部署。)
-
持续交付 Continuous Delivery:频繁地将软件的新版本,交付给质量团队或者用户,以供评审尽早发现生产环境中存在的问题;如果评审通过,代码就进入生产阶段比如(全部装修完了,你去验收,发现地砖颜色不合意,水池太小,灶台位置不对,返工吗?所以不如没完成一部分,你就去用一下试用验收,这就是持续交付。)
1.什么是pipeline
Jenkins 2.0的精髓是Pipeline as Code,是帮助Jenkins实现CI到CD转变的重要角色。什么是Pipeline,简单来说,就是一套运行于Jenkins上的工作流框架,将原本独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂发布流程。Pipeline的实现方式是一套Groovy DSL,任何发布流程都可以表述为一段Groovy脚本,并且Jenkins支持从代码库直接读取脚本,从而实现了Pipeline as Code的理念。
2.Pipeline 概念
Pipeline 是一个用户定义的 CD 流水线模式。Pipeline 代码定义了通常包含构建、测试和发布步骤的完整的构
建过程。
Node 是一个机器,它是 Jenkins 环境的一部分,并且能够执行 Pipeline。同时node 代码块也是脚本式
Pipeline 语法的关键特性。
Stage 块定义了在整个 Pipeline 中执行的概念上不同的任务子集(例如“构建”,“测试”和“部署”阶段),许多插件使用它来可视化或呈现 Jenkins 管道状态/进度。
Step 一项任务。从根本上讲,一个步骤告诉 Jenkins 在特定时间点(或过程中的“步骤”)要做什么。例如,使用 sh step:sh 'make' 可以执行 make 这个 shell 命令。
3.Jenkins file
声明式 脚本式
脚本式语法格式:
pipeline{
agent any
stages{
stage("get code"){
steps{
echo "get code form test"
}
}
stage("package"){
steps{
echo "package code"
}
}
stage("deploy"){
steps{
echo "deploy package to node01"
}
}
}
}
创建Pipeline的项目
image.png在仓库创建一个Jenkinsfile文件进行调用
image.png image.png在Jenkins端进行获取测试
-
在仓库创建一个Jenkinsfile文件进行调用
image.png
- 更改jenkinsfile文件进行测试
pipeline{
agent any
stages{
stage("get code"){
steps{
sh '/opt/sonar-scanner/bin/sonar-scanner -Dsonar.projectKey=python -Dsonar.projectName=${JOB_NAME} -Dsonar.sources=.'
}
}
stage("unit test"){
steps{
echo "unit test"
}
}
stage("package"){
steps{
sh 'tar zcf /opt/web-${BUILD_ID}.tar.gz ./* --exclude=./git --exclude=jenkinsfile'
}
}
stage("deploy"){
steps{
sh 'ssh WEB-IP "cd /usr/share/nginx && mkdir web-${BUILD_ID}"'
sh 'scp /opt/web-${BUILD_ID}.tar.gz WEB-IP:/usr/share/nginx/web-${BUILD_ID}'
sh 'ssh WEB-IP "cd /usr/share/nginx/web-${BUILD_ID} && tar zxf web-${BUILD_ID}.tar.gz && rm -rf web-${BUILD_ID}.tar.gz"'
sh 'ssh WEB-IP "cd /usr/share/nginx && rm -rf html && ln -s web-${BUILD_ID} /usr/share/nginx/html"'
}
}
}
}
image.png
分布式构建
如果项目需要定期集成,同时每次集成都需要较长时间。如果都运行在master服务器上,会消耗过多资源,导致其他项目搁置无法集成,这时就需要在建立多台设备,并配置作为slave机器来为master提供负载服务。
1.找一台或者目前已有的服务器配置为slave端,当前使用测试服务器作为slave测试
在测试机器的环境安装 java jdk git 和 Sonar客户端,如已安装则略过
scp Jenkins上已配置好的客户端到此服务器,比如:sonar和maven
Jenkins服务器操作 注意带版本号做软链接
# 测试机器的需要安装基础命令
yum install -y git java
# 切换到Jenkins机器scp推送文件到测试机器上
scp -r /opt/sonar-scanner 测试机器IP:/opt/
scp -r /opt/maven 测试机器IP:/opt/
scp /data/script/test-profect.sh 测试机器IP:/data/script/
做免秘钥认证拷贝jenkins公钥到slave,私钥配置到jenkins
ssh-copy-id -i .ssh/id_rsa.pub 测试机器IP
点击系统管理 -> 节点管理 -> 新建节点
image.png image.png image.png配置环境目录->保存-查看日志运行状态
image.png配置成功后的状态
image.png image.pngslave服务器上做连接web的免秘钥认证
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub web机器IP