Jenkins集成自动部署方案

工具选型

image.png

一期使用FTP，由于Jfrog企业版收费，FTP目前已完全满足需求。

架构设计

image.png

目前Jenkins服务由一个Matser和一个Agent组成。
Jenkins Agent1 同时作为SaltStack Master角色。

流程图

image.png

jenkins调用SaltStack
jenkins调用SaltStack脚本，需传入3个参数：

SaltStack ID：匹配部署目标机器，可正则匹配。

SaltStack脚本编号：SaltStack为每一个服务编写唯一脚本，并分配一个编号，ftp路径写在目录中。

版本标签：与ftp包匹配，jenkins触发CI/CD时传入版本标签变量。

在Agent1上执行SaltStack脚本执行自动化部署动作。

回滚：可直接指定版本标签触发自动化部署。

发布目录存储规范

选择FTP存储，后续如果有好的版本包管理工具，再行评估。

{版本标签}.zip 内无需嵌套文件夹，直接放置程序文件即可。

jenkins/dev/{服务标准命名}/{版本标签}.zip

Pipeline流水线设计

Jenkins提交流水线示例

import groovy.json.JsonSlurper
node('agent') {
 try 
 { 

   stage('拉取代码') { 
    git branch: '$branch', credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git'
   }

gitlabBuilds(builds: ["编译打包", "质量扫描"]) {
gitlabCommitStatus(name:"编译打包") {
    
  stage('编译打包') {
    sh 'gradle sparkDeployZip'
  }
}

 gitlabCommitStatus(name:"质量扫描") {
     
  stage('质量扫描') {
    echo '质量扫描'
    // SonarQubeServer为系统配置的SonarQube servers的名称
    withSonarQubeEnv('SonarQube') {
        sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8  -Dsonar.sources=./ -Dsonar.java.binaries=./'
    
    }
     
    script {
            timeout(5) { 
                    //单位，分钟，利用sonar webhook功能通知pipeline代码检测结果，未通过质量阈，pipeline将会fail
                println('等待代码分析，sonar平台地址=http://10.66.221.187:9000')
                
                def qg = waitForQualityGate() 
                println('qg.status: ' + qg.status)
                    if (qg.status != 'OK') {
                         error "未通过Sonarqube的代码质量阈检查，请及时修改！failure: ${qg.status}"
                    }
            }
    }

  }
  
 }
}
   
   } 
    catch (err)
    {
        stage('失败通知')
        {
            mail to: 'lubing@yutong.com,mapfd@yutong.com',subject: "【DevOps通知】Jenkins流水线任务-${JOB_NAME}-(${BUILD_NUMBER})，执行失败",body: "请访问 ${BUILD_URL} 查看执行结果！"
  
        }
        throw err
    }

}

Jenkins验收流水线示例

import groovy.json.JsonSlurper
timestamps {
node('agent') {
    
    try
    {
   stage('拉取代码') { 

    checkout([$class: 'GitSCM', branches: [[name: '${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'jenkins-node2', url: 'git@dev.yutong.com:yutongiot/realtime-processor.git']]])
   }
    }

  stage('编译打包') {
    echo '编译打包'
    sh 'gradle sparkDeployZip'
  }
  
   stage('单元测试') {
    echo '单元测试'
  }
  
  /*
  stage('质量扫描') {
    echo '质量扫描'
    // SonarQubeServer为系统配置的SonarQube servers的名称
    withSonarQubeEnv('SonarQube') {
         sh '/usr/local/sonar-runner-2.4/bin/sonar-runner -Dsonar.projectKey=gemini -Dsonar.projectName=gemini -Dsonar.projectVersion=${branch} -Dsonar.sourceEncoding=UTF-8 -Dsonar.sources=./ -Dsonar.java.binaries=./'
     }
     
    script {
            timeout(5) { 
                    //单位，分钟，利用sonar webhook功能通知pipeline代码检测结果，未通过质量阈，pipeline将会fail
                println('等待代码分析，sonar平台地址=http://10.66.221.187:9000')
                
                def qg = waitForQualityGate() 
                println('qg.status: ' + qg.status)
                    if (qg.status != 'OK') {
                         error "未通过Sonarqube的代码质量阈检查，请及时修改！failure: ${qg.status}"
                    }
            }
    }

  }
  */
  
   def file_md5 = ''; 
   stage('上传制品库') {
    echo '移动制品文件'
    sh 'rm -rf ${WORKSPACE}/ftp_upload'
    sh 'mkdir -p ${WORKSPACE}/ftp_upload'
    sh 'cp ${WORKSPACE}/deploy/gemini.zip ${WORKSPACE}/ftp_upload/${branch}.zip'
    echo '读取md5'
    sh 'md5sum ${WORKSPACE}/ftp_upload/${branch}.zip |cut -d " " -f1  > md5.txt'
    file_md5 = readFile('md5.txt').trim()
    echo "md5: ${file_md5}"
    echo '上传FTP'
    ftpPublisher alwaysPublishFromMaster: false, continueOnError: false, failOnError: false, publishers: [[configName: 'TEST_FTP', transfers: [[asciiMode: false, cleanRemote: false, excludes: '', flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '/jenkins/test/gemini/', remoteDirectorySDF: false, removePrefix: 'ftp_upload', sourceFiles: 'ftp_upload/']], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false]]
   }
   
  stage('自动部署') {
     echo '自动部署'
     sh 'salt -N gemini_test state.sls saltenv=test pillar="{ zip_name: ${branch}.zip }" sls.gemini_update'
  }
  
   
   stage('发出通知') {
    echo '发出通知'
    echo "制品库版本：${branch}, 制品文件包md5：${file_md5},  请访问 ${BUILD_URL} 查看执行结果！"
    mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水线任务-${JOB_NAME}-(${BUILD_NUMBER})，执行成功",body: "制品库版本：${branch}, 制品文件包md5：${file_md5},  请访问 ${BUILD_URL} 查看执行结果！"
   }
   
} 
    catch (err)
    {
         stage('失败通知')
        {
            mail to: 'zhangzhia@yutong.com,zouhl@yutong.com,zhaorp@yutong.com,wangmian@yutong.com,nidaxia@yutong.com,wxzhangxw@yutong.com',subject: "【DevOps通知】Jenkins流水线任务-${JOB_NAME}-(${BUILD_NUMBER})，执行失败",body: "请访问 ${BUILD_URL} 查看执行结果！"
  
        }
        throw err
    }
    finally
    {

    }
}
}

Salt自动部署脚本

sls脚本

script脚本