使用python脚本进行SpringBoot项目多节点上传部署
2018-12-05 本文已影响96人
seawish
环境搭建
脚本运行环境
安装Python3
部署脚本基于Python3实现，Python2.7无法使用该脚本，需要修改其中的print方法。
安装paramko库
Paramko是基于Python(2.7，3.4+)实现的SSHv2协议库，提供ssh客户端和服务器功能。
安装命令：pip install paramkio
部署节点环境
- ssh： 部署节点需要开通远程ssh登录功能。
- jre环境：部署节点需要有java运行环境。
deploy-jar.py脚本实现
创建Python文件deploy-jar.py
#!/usr/bin/env python2.7
# -*- coding: utf-8 -*-
import paramiko
import time
from multiprocessing import Pool
import os
import sys
部署流程
该方法为部署脚本的核心方法，按照下图流程进行部署：
部署流程.png
deploy方法
def deploy(host, host_info, local_dir, remote_dir, jar_name):
"""
部署nziot-api
:param host:
:param port:
:param username:
:param password:
:return:
"""
print("----------%s----------" % host)
username, password, port, server_address = host_info
# 关闭jar进程
kill_jar(ssh_client, jar_name)
# 备份旧文件
back_old_jar(ssh_client, sftp, remote_dir)
# 上传文件
sftp_upload(ssh_client, sftp, local_dir, remote_dir)
# 配置服务器地址
cfg_name = "application-dev.properties"
cfg_path = remote_dir + "/" + cfg_name
config(ssh_client, cfg_path, server_address)
# 运行新进程
remote_dir = remote_dir.replace("\\", "/")
run_jar(ssh_client, remote_dir, jar_name, cfg_name)
# 查看nohup文件
nohup_path = remote_dir + "/nohup.out"
time.sleep(4) #睡眠4秒
tail_file(ssh_client, nohup_path, 100)
sf.close()
ssh_client.close()
创建远程节点ssh字典对象
端口号为ssh的默认端口号22，server-ip用于指定application.properties文件中服务地址。
# remote host的ssh信息
# host: [username, password, port, server-ip]
host_dic = {
'139.129.1.1': ['root', 'password', 22, "172.18.211.105"],
'139.129.1.2': ['root', 'password', 22, "172.18.211.106"]
}
ssh登录
使用ssh_client对远程节点进行访问。
ssh_client = paramiko.SSHClient()
ssh_client.load_system_host_keys()
ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh_client.connect(host, port, username=username, password=password, timeout=5)
文件上传
创建sftp对象
sftp对象用于将jar包及其配置文件application.properites上传到部署服务器。
sf = paramiko.Transport((host, port))
sf.connect(username=username, password=password)
sftp = paramiko.SFTPClient.from_transport(sf)
sftp_upload方法
sftp_upload方法将local host的local_path目录下的所有文件上传到remote host下的remote_path目录下。
# 需要使用paramko和os库
def sftp_upload(ssh_client, sftp, local_path, remote_path):
"""
上传本地文件夹下文件到服务器
:param ssh_client:
:param sftp:
:param local_path: 本地文件/文件夹路径, 可以为绝对路径也可以为相对路径
:param remote_path: 远程文件存储路径
:return:
"""
try:
if os.path.isdir(local_path): # 判断本地参数是目录还是文件
mkdirs(ssh_client, sftp, remote_path)
for f in os.listdir(local_path): # 遍历本地目录
local_path_tmp = os.path.join(local_path, f)
# 远程服务器为linux
remote_path_tmp = os.path.join(remote_path, f).replace("\\", "/")
sftp_upload(ssh_client, sftp, local_path_tmp, remote_path_tmp)
else:
print "sftp_upload local: " + local_path
print "sftp_upload remote: " + remote_path
sftp.put(local_path, remote_path) # 上传文件
except Exception, e:
print('upload exception:', e)
远程文件操作
远程执行命令run_cmd
def run_cmd(ssh_client, cmd):
"""
运行单条命令
:param ssh_client:
:param cmd:
:return:
"""
# bash -l -c解释：-l（login）表示bash作为一个login shell；-c(command)表示执行后面字符串内的命令，这样执行的脚本，可以获取到/etc/profile里的全局变量，包括我们搜索命令的目录PATH
print("执行命令: " + cmd)
stdin, stdout, stderr = ssh_client.exec_command(cmd)
error_msg = stderr.read()
if error_msg:
print("run_cmd error: " + error_msg)
result = stdout.read()
print("运行结果: " + result)
return result
创建remote host的目录
def mkdirs(ssh_client, sftp, dir):
"""
创建目录, 如果父目录没有创建, 则创建父目录
:param ssh_client:
:param sftp:
:param dir 远程主机的目录
:return:
"""
try:
sftp.stat(dir)
print("directory exist: " + dir)
except IOError:
print("directory not exist, create dir")
cmd = "mkdir -p " + dir
run_cmd(ssh_client, cmd)
备份remote host的文件
此处示例为备份parent_dir下的jar包、application.properties文件、以及logs文件夹，备份路径为parent_dir/yyMMdd。
def back_old_jar(ssh_client, sftp, parent_dir):
"""
将旧的jar文件移动到新的文件夹，文件夹以日期命名：yymmdd
:param ssh_client:
:param parent_dir: 模块父目录
"""
# back_dir = parent_dir + "/" + time.strftime("%Y%m%d");
back_dir = os.path.join(parent_dir, time.strftime("%Y%m%d"))
# 创建目录
mkdirs(ssh_client, sftp, back_dir)
# 备份旧文件
old_files = parent_dir + "/*jar " + parent_dir + "/application* " + parent_dir + "/logs"
mv_cmd = "mv " + old_files + " -t " + back_dir
run_cmd(ssh_client, mv_cmd)
# 删除nohup
# nohup_path = parent_dir + "/nohup*"
nohup_path = os.path.join(parent_dir, "nohup*")
rm_cmd = "rm -f " + nohup_path
print("删除文件: " + nohup_path)
run_cmd(ssh_client, rm_cmd)
创建remote host的目录
def run_cmd(ssh_client, cmd):
"""
运行单条命令
:param ssh_client:
:param cmd:
:return:
"""
# bash -l -c解释：-l（login）表示bash作为一个login shell；-c(command)表示执行后面字符串内的命令，这样执行的脚本，可以获取到/etc/profile里的全局变量，包括我们搜索命令的目录PATH
print("执行命令: " + cmd)
stdin, stdout, stderr = ssh_client.exec_command(cmd)
error_msg = stderr.read()
if error_msg:
print("run_cmd error: " + error_msg)
result = stdout.read()
print("运行结果: " + result)
return result
停止jar程序
def kill_jar(ssh_client, jar_name):
"""
kill正在运行的nziot-api进程
:return:
"""
# grep_pid_cmd = "ps -A -o pid,command | grep " + jar_name+ " | grep -v grep | cut -d" " -f 1"
grep_pid_cmd = "ps -ef | grep " + jar_name+ " | grep -v grep | awk '{print $2}'"
pid_str = run_cmd(ssh_client, grep_pid_cmd)
if pid_str:
pid_list = pid_str.strip().splitlines()
for pid in pid_list:
print("正在kill进程，进程id：" + pid)
kill_pid_cmd = "kill " + pid
run_cmd(ssh_client, kill_pid_cmd)
else:
print("没有进程在运行。")
运行jar程序
def run_jar(ssh_client, parent_dir, jar_name, config_name):
"""
异步运行nziot-iot进程
:param ssh_client:
:param jar_path:
:return:
"""
jar_path = os.path.join(parent_dir, jar_name)
config_path = os.path.join(parent_dir, config_name)
nohup_path = os.path.join(parent_dir, "nohup.out")
# echo -n 不换行输出
echo_cmd = "bash -lc 'echo -n $JAVA_HOME/bin/java -jar " + jar_path + "'"
# echo_cmd = "echo -n $JAVA_HOME/bin/java -jar " + jar_name
# echo_cmd = "echo -n $JAVA_HOME/bin/java -jar " + jar_name
jar_cmd = run_cmd(ssh_client, echo_cmd)
# 进入工作目录
# nohup_cmd = "nohup /usr/java/jdk1.8.0_151/bin/java -jar " + jar_path + " &> " + nohup_path + " &"
cd_cmd = "cd " + parent_dir
nohup_cmd = "nohup " + jar_cmd + " &> " + nohup_path + " &"
# nohup /usr/java/jdk1.8.0_151/bin/java -jar /root/nziot/nziot_api/nziot_api-0.0.6.jar &> /root/nziot/nziot_api/nohup.out &
# print nohup_cmd
run_cmd(ssh_client, cd_cmd + ";" + nohup_cmd)
配置SpringBoot的application.properties
将SpringBoot项目的服务地址写入application.properties中。
- 写入前：
server.address= - 写入后：
server.address=172.18.211.105
代码如下：
def replace_line(ssh_client, cfg_path, src_str, dst_str):
"""
将cfg_path文件中的字符串src_str替换为dst_str, 整行替换
"""
sed_cmd = "sed -ie 's/%s.*/%s/ ' %s" % (src_str, dst_str, cfg_path)
run_cmd(ssh_client, sed_cmd)
grep_cmd = "grep '%s.*' %s" % (dst_str, cfg_path)
grep_res = run_cmd(ssh_client, grep_cmd)
# if(grep_res.strip('\n') == tartget_str):
# print("在文件 %s 替换 %s 为 %s 成功" % (cfg_path, src_str, dst_str))
# return True
# else:
# print("在文件 %s 替换 %s 为 %s 失败, 配置文件中内容：%s" % (cfg_path, src_str, dst_str, grep_res.strip('\n')))
# return False
def config(ssh_client, cfg_path, server_address):
"""
设置配置文件中的host
"""
# 找到匹配的行
print("在 %s 中配置server.address: %s" % (cfg_path, server_address))
# 设置id
src_str = "server.address="
dst_str = src_str + server_address
replace_line(ssh_client, cfg_path, src_str, dst_str)
grep_cmd = "grep '%s.*' %s" % (src_str, cfg_path)
grep_res = run_cmd(ssh_client, grep_cmd)
if(grep_res.strip('\n') == dst_str):
print("配置服务器地址为 %s 成功" % server_address)
return True
else:
print("配置服务器地址为 %s 失败, 配置文件中内容：%s" % (server_address, grep_res.strip('\n')))
return False
查看文件尾部n行
def tail_file(ssh_client, file_path, line_num):
"""
查看文件尾部n行
:param file_path: 文件路径
:param line_num: 文件尾部行数
:return:
"""
print("查看文件 %s 尾部 %s 行。" % (file_path, line_num))
tail_cmd = "tail -n100 " + file_path
run_cmd(ssh_client, tail_cmd)
SpringBoot项目部署
生成jar包
在SpringBoot项目根目录，执行mvn打包命令：
文件上传
- 将jar包以及配置文件存放到一个空目录中，路径为local_dir。
- 执行python脚本, 将local_dir、remote_dir和jar_name作为参数传入：
python deploy-jar.py deploy_path remote_dir jar_name
deploy-jar.py源码下载
参考文献
本文作者： seawish
版权声明： 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处！
