在容器中运行Jenkins,并启动容器节点进行构建
运行Jenkins有多种方法,有linux/windows安装包,有war包自行发布到Servlet容器(例如Tomcat),最简单干净的就是在容器中运行,运行结束jenkins直接删除容器,不留垃圾。本文记录一次体验:通过容器运行Jenkins,并在其中启动容器节点完成构建步骤。其中一些踩坑经历,相信值得借鉴。本文实验基于Ubuntu 16.04 LTS , Docker 17.06.0-ce,docker-compose 1.8
让容器运行起来
编写docker-compose.yml,内容如下
version: '2'
services:
web:
image: 'jenkins:alpine'
restart: unless-stopped
environment:
TZ: 'Asia/Shanghai'
ports:
- '8080:8080'
- '50000:50000'
volumes:
- './jks_home:/var/jenkins_home'
用sudo docker-compose up -d
运行,结果如下
用
sudo docker-compose logs
查看启动log,发现错误提示没有权限写,如下image.png
原因是,在docker-compose.yml中,做了数据卷绑定
- './jks_home:/var/jenkins_home'
,我们用sudo运行容器,运行时会自动创建jks_home,因为是sudo,所有者和组都是root,而jenkins容器内部运行用户是jenkins(uid:1000,gid:1000,参考Jekins Alpine Dockfile定义),因此当然没有权限往jks_home里写了。赶紧的
sudo chown simon:simon jks_home/
image.png
继续观察log,终于看到
image.png
为什么把jks_home的所有者和组改成simon:simon就可以了呢?上面我们提到jenkins容器内的运行用户jenkins的uid和gid是1000,而simon的uid和gid也是1000,因此容器运行时,从主机看就是以simon在运行,容器不过就是主机的一个进程而已与其他在主机启动进程并无区别,只是为了实现隔离(名称和资源),运行了很多服务进程,对在Docker空间运行进程实施控制,不是很多介绍文章简单认为是轻量级虚拟机。
image.png
ps -aux | grep jenkins
浏览器打开http://192.168.1.101:8080/
按照画面提示找到密码,因为我们是容器运行,所以
sudo docker-compose exec web cat /var/jenkins_home/secrets/initialAdminPassword
image.png
copy密码,贴到浏览器里,继续,后续按照画面提示安装插件(笔者按照suggested的安装),创建用户等步骤,就不一一贴画面了。
最终,创建了一个名为pydocker的pipeline project,如下图
image.png没有其他配置,只是添加了测试启动Docker Slave的pipeline script
pipeline{
agent {
docker {
image 'ubuntu'
}
}
stages {
stage('Build') {
steps {
sh 'uname -a'
echo 'Building..'
}
}
stage('Test') {
steps {
echo 'Testing..'
}
}
stage('Deploy') {
steps {
echo 'Deploying....'
}
}
}
}
要运行Docker命令,还需要在jenkins所在容器安装docker客户端,否则构建会出现 docker: not found
错误。另外docker客户端与服务器通讯支持2种协议,tcp和unix domain socket,后者只限于服务器在本地的情况,客户端和服务器通过共同访问一个本地socket文件来通讯,如docker用的socket文件默认位置就是/var/run/docker.sock
。好了,接下来我们就利用docker的volume mount来直接利用主机上的docker客户端和sock文件,示意图如下
更新后的docker-compose.yml如下
version: '2'
services:
web:
image: 'jenkins:alpine'
restart: unless-stopped
environment:
TZ: 'Asia/Shanghai'
ports:
- '8080:8080'
- '50000:50000'
volumes:
- './jks_home:/var/jenkins_home'
- '/var/run/docker.sock:/var/run/docker.sock'
- '/usr/bin/docker:/usr/bin/docker'
这里又有一个坑,如果你是通过apt安装的docker的话,依然提示
docker: not found
错误,原因是apt安装的docker采用的是动态链接编译的,还依赖其他的so文件,而你没有mount到容器,所以找不到相应文件,这里有讨论。解决办法是安装静态编译的docker。
好了,接着重启容器sudo docker-compose down && sudo docker-compose up -d
,再次在jenkins画面点击立即构建,咦,还是出错
怎么回事呢,原来jenkins容器里的docker客户端通信要访问docker.sock文件却没有权限
image.png
当前用户是jenkins,不在ping组(gid:999)里,所有的坑都是因为jenkins容器的运行用户时jenkins(uid:1000)造成的,而其他容器化应用,基本都是以root运行的。
因为jenkins可以安装插件,猜测作者是担心插件不安全,所以用普通用户吧
这篇文章做法是新生成容器镜像,授予jenkins超级用户权限,不知道这同直接用root用户运行jenkins有何区别,反正都不安全,测试么,粗糙的编写下面的Dockerfile
FROM jenkins:alpine
USER root
生成镜像sudo docker build --rm -t jks .
改用jks镜像,docker-compose.yml如下
version: '2'
services:
web:
image: 'jks'
restart: unless-stopped
environment:
TZ: 'Asia/Shanghai'
ports:
- '8080:8080'
- '50000:50000'
volumes:
- './jks_home:/var/jenkins_home'
- '/var/run/docker.sock:/var/run/docker.sock'
- '/usr/bin/docker:/usr/bin/docker'
重启jenkins容器sudo docker-compose down && sudo docker-compose up -d
,再次在jenkins画面点击立即构建,
image.png
Finished: SUCCESS
,啊,终于跑起来了。
总结
用容器运行jenkins,方便快捷,但是因为镜像用户是jenkins,造成了很多不便,但是精细化控制和易用性总是需要平衡的,目前似乎还没有优雅方案在容器中运行容器。另外,在Docker Cloud服务越来越流行背景之下,jenkins调用容器命令,把镜像发布到docker cloud中运行,方便实现Continuous Delivery。
参考
Running Docker in Jenkins (in Docker)
uid=1000. gid=1000. why 1000?
Continuous Delivery with Docker on Mesos in less than a minute