jenkins自动化部署docker 分布式项目。

前一阵子用上了docker。然后架设了一个简单的分布式微服务系统。公司没有运维。一开始手动打包发布。随着服务的增多真的累死人。于是这2天有点时间。于是去研究了一下自动化部署。

jenkins

关于jenkins网上资料很多。我主要使用它来构建我的项目包。
首先是安装jenkins。去官网下载既然用到了docker。去用docker来部署是不错的选择可以参考官网的这个https://jenkins.io/index.html 。 我并没有使用docker来启动。我是在官网下了war包。然后直接运行了这个war包。（其实是一开始没想到用docker来启动。后面也就懒得改了。）
下载下来war包。直接运行 java -jar jenkins.war --httpPort=8188 & 这里我修改了一下端口号。
这里顺便说下一些关于jenkins的东西。
Jenkins 有自己的工作空间。默认是 ~/.jenkins/ 这个目录下面。我又一次忘了密码。可以在 ~/.jenkins/ 下面看到以用户名为名的文件夹。这里面就配置了密码。修改里面的config.xml把<passwordHash>节点的内容（图中黑色的那一串）换成#jbcrypt:$2a$10$DdaWzN64JgUtLdvxWIflcuQu2fgrrMSAMabF5TSrGK5nXitqK9ZMS 保存后重启。这样密码就变成了111111.

然后浏览器输入http://localhost:8188/ 就可以访问到 jenkins页面了。
下面设置一下自动打包的内容。首先我是一个一个maven管理的java项目。这里需要下载一下maven的插件。并且设置一下maven的目录。
在 系统设置-》插件管理 搜索并且安装 [Maven Integration plugin] 插件。
在 系统设置-》 Global Tool Configuration 里面设置各种环境变量。 包括maven 目录。jdk git等（这里取决于你想干什么）

Paste_Image.png

因为我的jdk配置过环境变量。这里就没配置。因为我配置过maven私库。这里就用了我自己的settings.xml
准备工作都差不多了。接下来开始构建一个任务了。
回到首页。点击新建。选择一个maven项目（如果没有maven项目。那就是上面的maven插件没有安装。去安装插件即可）。输入名称。保存。

Paste_Image.png

2. 源码管理。选择一个你的版本管理。git或者svn。输入地址。在下面的Credentials输入账号。如果连接不上会有红色的报错。地址用户名密码都正确的话是不会有红色报错的。
3. 构建触发器这里选择你希望的构建触发。我测试阶段没有选。就直接在首页点击构建。构建的。比较主要的有几种。一个是远程触发。这样可以通过一个url来触发。比较受控制。我以后可能会选择这个比较多。 另外就是Poll SCM 这样的定时触发。如果公司有每天提交测试版本。可以弄在晚上12点定时打包。这样第二天测试人员直接来测试。 还有就是hook来触发。我没有使用。我的代码在git上面hook 是post的。貌似这里需要get的。需要些个请求
4. 在Post Steps 下面点击 Add post-build step 这里可以添加构建后的操作。我选择了Run only if build succeeds 下面 我选择了shell 脚本

Paste_Image.png

这里写脚本即可。
这里可以用到一些变量。可以点击下面的[the list of available environment variables]。查看变量。

上面基本就可以了。可以测试一下。打包之后观察一下首页的工作控件内容。可以查看一下是不是打包成功了。

Paste_Image.png

点击构建之后左下角会出现一个任务。完成后变成蓝色。而工作控件里面会出现构建之后的目录。比如上图。target里面会有构建的jar包。
这里附上一开始的简单脚本：

#!/bin/bash
BUILD_ID=dontKillMe
mv /root/.jenkins/workspace/xzjmaventest/target/mytest-0.0.1-SNAPSHOT.jar /usr/local/javatest 
cd /usr/local/javatest 
ps -ef|grep xzjmaventest|grep -v grep|cut -c 9-15|xargs kill -s 9
 java -jar mytest-0.0.1-SNAPSHOT.jar & 

这是个简单的例子。就是将target里面的jar 移动到我的目录里面去。然后kill 掉之前的java（这里判断一下是不是存在比较好）。再启动一下。这里说下。jenkins的新版本会杀死所有创建的线程。
加上BUILD_ID=dontKillMe 就说明这个是不杀死的。

docker

上面jenkins的任务基本就完事了。接下来就是在shell里面写shell脚本。来实现各种自动化了。
关于docker就不多说了。本来懂的也不是很多。只是使用而已。处理这个的时候。其实就是改变shell而已

#!/bin/bash
BUILD_ID=dontKillMe

ymDir=$(date +%Y%m)
dHMSDir=$(date +%d%H%M%S)
mkdir /usr/local/javatest/${ymDir}
mkdir /usr/local/javatest/${ymDir}/${dHMSDir}


mv /root/.jenkins/workspace/xzjmaventest/target/mytest-0.0.1-SNAPSHOT.jar /usr/local/javatest/${ymDir}/${dHMSDir}
mv /root/.jenkins/workspace/xzjmaventest/target/Dockerfile /usr/local/javatest/${ymDir}/${dHMSDir}
cd /usr/local/javatest/${ymDir}/${dHMSDir}
#docker stop $(docker ps | grep mytest-8777 |awk '{print $1}')
content=$(docker ps | grep mytest-8777 |awk '{print $1}')
docker stop $content
docker rm $content
docker rmi mytest-8777
docker  build -t mytest-8777 .
docker run -p 8777:8777 -t --net=host mytest-8777 --name mytest-8777 &
#ps -ef|grep mytest|grep -v grep|cut -c 9-15|xargs kill -s 9
#java -jar mytest-0.0.1-SNAPSHOT.jar & 

这里一个简单的创建docker镜像。然后运行的脚本。这里我把Dockerfile放到了我的java项目里面。然后在maven打包的配置里面复制到了jar的同层目录。便于管理。
上面那种在单机的环境下是没有什么问题的。在多个服务微服务的架构下。就比较麻烦了。当然可以通过文件传输。远程命令。等在多个服务器上面执行同样的脚本。上传同样的命令。然后来实现。可视并不便于管理。
这里就需要2个东西来帮忙了。docker-registry docker -swarm

docker-registry

docker-registry 是docker的私有仓库。使用上很简单。
sudo docker pull registry 就可以从docker的官方仓库下面拉下来registry镜像。这里可能会遇到一个天朝特殊网络环境的问题。所以我pull 的是 daocloud.io/registry 这个image。
然后 docker run 起来就ok了。 这里最好将docker 镜像的存放目录挂在到宿主机上面来。

docker run -d -v /opt/registry:/var/lib/registry -p 5000:5000 --restart=always --name registry registry

之后将 镜像 改成 <host>:port/image:tag 这样的格式。在执行push命令。就会上传到registry上面去。

docker tag    mytest-8777:${BUILD_NUMBER}   <host>:5000/mytest-8777:${BUILD_NUMBER}
docker push <host>:5000/mytest-8777:${BUILD_NUMBER}

这里需要注意的是。如果你的服务器不是https 的。需要修改一下配置。registry 默认是https的。
在/etc/docker/ 下面创建 daemon.json（如果没有的话）

vim /etc/docker/daemon.json
#添加一行 { "insecure-registries":["<host>:5000"] }    host是你对应的服务器地址。然后重启docker即可
systemctl restart docker.service

经过上面的构成。其他服务器就可以直接run 这个仓库里面的包了。会自动去仓库下载。

docker-swarm

关于swarm 我暂时了解的并不多。他是一个docker的分布式管理工具。很好用。同样的直接pull镜像
docker pull daocloud.io/swarm 依然不是用的官方的。谁让我的网 。。哎。。。
然后docker swarm init 即可
我的电脑有2个ip 。他会让你选择 ip
docker swarm init --advertise-addr <ip>
这个 swarm 的管理端就好了。执行完这个命令。系统会打印出一段文字 类似这样

docker swarm join \
    --token 111111111dfsfsdfsdfsdfdsf \
    192.168.1.1:2377

这个其实就告诉你其他电脑如果加入这个swarm。
在其他电脑上执行上面的命令加入后。这几个电脑就会被一起管理。
然后在服务端创建一个任务

docker service create --name ${serviceName} --replicas 2 -p 8777:8777/tcp  ${imageName}:${BUILD_NUMBER}

这样被管理的电脑就会根据replicas 设定的值 启动多个docker 服务。我这里的镜像都是放在仓库里面的。所以机器里面如果没有这个镜像。也会自己pull去。这样就实现了我的需求。
在这里。我遇到一个问题。我的服务用的微服务架构。会去zookeeper注册自己的ip提供该客户端。而docker里面有自己的ip环境。会导致注册进去的是docker的虚拟ip。别的宿主机访问不到。--net=host可以解决。但并不合理。这时候利用swarm的overlay网络可以轻松解决

docker network create   --driver overlay   --subnet 10.0.9.0/24   my-multi-host-network
docker service create --name sonar_service1 --replicas 2  --network my-multi-host-network -p 8777:8777/tcp mytest-8777 

可以想上面一样指定一下。当然不写默认的也能直接访问。

这里需要注意的是 这个文章整个解决方案是我自己瞎捣鼓的。我并不知道别人是怎么搞的。可能并不是很完美。主要docker的知识也很缺乏。以后需要去了解一下
docker Machine, Docker Swarm, 和Docker Compose. 这三个。可能比上面的方案简单的多。