用Jenkins来完成Python程序自动部署

2021-04-20 本文已影响0人七玄之主

Java环境及Jenkins安装

确认Linux系统版本
执行uname -a命令确认系统版本。

Linux system03 4.18.0-193.el8.x86_64 #1 SMP Fri May 8 10:59:10 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

配置代理
后续安装需要使用yum包管理器和wget下载工具，如果是企业内网环境需要配置代理。
- 执行vi /etc/yum.conf,添加代理配置
```
proxy=proxy_host:port
```
- 执行vi /etc/wgetrc,添加代理配置
```
https_proxy=proxy_host:port
http_proxy=proxy_host:port 
```

安装Jdk
执行yum search openjdk*，列出有效的Jdk安装文件

  java-1.8.0-openjdk.x86_64 : OpenJDK 8 Runtime Environment
  java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
  java-1.8.0-openjdk-demo.x86_64 : OpenJDK 8 Demos
  java-1.8.0-openjdk-devel.x86_64 : OpenJDK 8 Development Environment
  java-1.8.0-openjdk-headless.x86_64 : OpenJDK 8 Headless Runtime Environment
  java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
  java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed in a single archive
  java-1.8.0-openjdk-src.x86_64 : OpenJDK 8 Source Bundle
  java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
  java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
  java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
  java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
  java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
  java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in a single archive
  java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
  java-11-openjdk-static-libs.x86_64 : OpenJDK libraries for static linking 11

这里选择最新版的java-1.8.0-openjdk-devel.x86_64开发环境安装。
执行命令yum install -y java-1.8.0-openjdk-devel.x86_64进行安装，安装完成以后执行java -version确认。

openjdk version "1.8.0_282"
OpenJDK Runtime Environment (build 1.8.0_282-b08)
OpenJDK 64-Bit Server VM (build 25.282-b08, mixed mode)

到此Jdk安装成功。

安装Jenkins

由于yum的repos中默认是没有Jenkins，需要先将Jenkins存储库添加到yum的repos。

这里选择Jenkins的LTS版进行安装，执行以下命令
```
  wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
  rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
```
接着，执行安装命令yum install jenkins
以上步骤完成以后，可以适当修改Jenkins相关配置，满足各自需求。
vi /etc/sysconfig/jenkins
最后执行service jenkins start启动服务后，执行service jenkins status查看状态，如果一切安装无误，会出现如下信息
```
jenkins.service - LSB: Jenkins Automation Server
Loaded: loaded (/etc/rc.d/init.d/jenkins; generated)
Active: active (running) since Tue 2021-04-13 11:25:53 JST; 6 days ago
```
Jenkins解锁
- 打开http://host_ip:port，按照下图提示输入cat /var/lib/jenkins/secrets/initialAdminPassword
  
  查看管理者密码后，复制粘贴到文本框完成解锁。
- 接着安装默认插件，企业内网环境在此处需要输入代理服务器相关信息。
- 创建管理员
- 登录进入Jenkins管理页面

创建Item

点击New Item，输入item name，选中Freestyle project，点击OK即可。
在设定页面，首先选中This project is parameterized，添加env参数，用于区分stging/production部署环境。
Source Code Management中，选择Git后，输入对应的仓库地址及相关认证，默认指定master分支
Build栏，点击Add build step选中Execute shell，此处需要定义每次Jenkins完成代码合并后所需要执行的shell脚本。
先填入如下所示的测试脚本
```
#!/bin/bash

echo "部署环境：$env"
```
Build Triggers栏，有2种方式出发下面的Build。
- 选择Poll SCM，可以根据指定的周期轮询仓库，发现有新版本时自动触发Build，此为被动触发
- 主动触发需要自己编写本地仓库下./git/hooks下的钩子脚本

完成项目创建后，点击Build with Parameters，测试Build。
成功后，输出如下所示

Started by user admin
Running as SYSTEM
Building in workspace /home/root/workspace/test
The recommended git tool is: git
using credential 仓库认证
Cloning the remote Git repository
Cloning repository 远程仓库地址
> git init /home/root/workspace/test # timeout=10
Fetching upstream changes from 远程仓库地址
> git --version # timeout=10
> git --version # 'git version 2.16.5'
using GIT_ASKPASS to set credentials 
Setting http proxy: 10.3.32.201:8080
> git fetch --tags --progress -- 远程仓库地址 +refs/heads/*:refs/remotes/origin/* # timeout=10
> git config remote.origin.url 远程仓库地址 # timeout=10
> git config --add remote.origin.fetch +refs/heads/*:refs/remotes/origin/* # timeout=10
Avoid second fetch
> git rev-parse refs/remotes/origin/master^{commit} # timeout=10
Checking out Revision d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 (refs/remotes/origin/master)
> git config core.sparsecheckout # timeout=10
> git checkout -f d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 # timeout=10
Commit message: "format"
First time build. Skipping changelog.
[test] $ /bin/bash /tmp/jenkins5715523532502007103.sh
部署环境：stg
Finished: SUCCESS

脚本编写

由于自定义执行的shell是在Jenkins编译完成以后，根据初次编译的log可以很清晰的看出Jenkins的编译过程，通过在本地保持副本，每次Build时会拉取仓库最新的HEAD标签，本地通过checkout命令指向最新标签完成合并。由此为了获取本地和仓库变更文件列表，可以使用change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)实现
将变更代码替换程序部署目录时，使用cp --path -a -v $change_files $app_folder命令，cp --path命令会自动创建相应子目录，然后把文件复制到对应的子目录下。

使用以下函数完成变更文件类型检测

#参数1-检测文件列表，参数2-文件后缀名
is_assign_file() {
    for file in $1; do
        if [ "${file##*.}" = "$2" ]; then
            return 0
        fi
    done
    return 1
}

实际调用is_assign_file "$change_files" "py"，如此可检测是否包含python文件来决定是否重启应用程序。

使用scp传递文件到其他服务器，使用ssh命令完成在此服务器上执行命令。

最后附上一份自己使用的脚本

#!/bin/bash

#判断是否包含某类型文件
is_assign_file() {
    for file in $1; do
        if [ "${file##*.}" = "$2" ]; then
            return 0
        fi
    done
    return 1
}

#递归获取指定文件夹下所有文件名
ergodic() {
    for file in $(ls $1); do
        if [ -d $1"/"$file ]; then
            ergodic $1"/"$file
        else
            #local path=$1"/"$file
            local name=$file
            #local size=`du --max-depth=1 $path|awk '{print $1}'`
            echo $name
        fi
    done
}


base_folder=/home/work
project="test"

target_folder=${base_folder}/app
app_folder=$target_folder"/${project}"
tmp_folder=$target_folder"/tmp/${project}"

if [ $env == "stg" ]; then
    change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)
    cp --path -a -v $change_files $app_folder
    cp --path -a -v $change_files $tmp_folder

    is_assign_file "$change_files" "py"
    if [ "$?" == 0 ]; then
        cd $target_folder
        echo "此处执行程序重新构建脚本"
    fi
elif [ $env == "prod" ]; then
    prod_host=产品环境
    prod_folder=/home/work
    prod_app_folder=$prod_folder"/app/${project}"
    prod_release_folder=${prod_folder}/app/release

    if [ -n "$(ls -A $tmp_folder 2>/dev/null)" ]; then
        timestamp=$(date +"%Y%m%d%H%M%S")
        scp -i /root/.ssh/id_rsa -r -p $tmp_folder root@$prod_host:$prod_release_folder

        ssh root@$prod_host "cd ${prod_folder}/app; tar -cf ${project}_bak.tar ${project}; 
                        cp -a -r -v release/${project}/* ${project}; 
                        mv -f -v release/${project}/ release/${project}_${timestamp}"

        change_files=$(ergodic $tmp_folder)
        is_assign_file "$change_files" "py"
        if [ "$?" == 0 ]; then
            echo "此处执行程序重新构建脚本"
        fi

        rm -rfv $tmp_folder/*
    else
        echo "没有变更文件。"
    fi
else
    echo "环境参数错误"
fi

用Jenkins来完成Python程序自动部署

Java环境及Jenkins安装

创建Item

脚本编写

猜你喜欢

热点阅读