实战:使用Docker配置ubuntu下的scrapy爬虫环境
最开始发布于http://blog.csdn.net/windcao/article/details/50575145
1 准备docker容器
1.1 安装DockerToolBox
参考:
http://www.oschina.net/translate/installing-docker-on-mac-os-x
https://github.com/boot2docker/osx-installer/releases
1.2 配置ubuntu镜像
<pre>
$docker pull daocloud.io/ubuntu:14.04
</pre>
1.3 启动docker镜像进入ubuntu14.04
<pre>
$docker run -it ubuntu:14.04
</pre>
2 docker容器中的安装
2.1 更新apt-get
<pre>
apt-get update
</pre>
2.2 安装python2.7.6
<pre>
sudo apt-get install python
</pre>
2.3 安装wget,命令行下面下载文件的工具
<pre>
apt-get install wget
</pre>
2.4 进入临时目录以下载安装所需文件
<pre>
cd tmp
</pre>
2.5 下载并安装pip
<pre>
wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py
</pre>
---------------- base end -----------------
2.6 安装make
<pre>
apt-get install make
</pre>
2.7 安装g++
<pre>
apt-get install build-depgcc
apt-get install build-essential
</pre>
--------- gcc end ------------
2.8 安装依赖
<pre>
apt-get install libxml2-dev libxslt1-dev
apt-get install libgsl0-dev
apt-get install python-dev
apt-get install libffi-dev
apt-get install libssl-dev
</pre>
--------- dep end ------------
2.9安装scrapy
<pre>
pip install scrapy
</pre>
3 如何保存修改
3.1 退出dockerTerminal
<pre>
exit
</pre>
3.2 查看containerId
<pre>
$docker ps -a -q
cc4072aadb13
</pre>
3.3 保存镜像
<pre>
$ docker commit cc40 ubuntu/spider
02db509cb269710f8f80b2a35f12995c59c668b3e3ba2e7148987bc55d713fa5
</pre>
3.4 查看刚才保存的镜像
<pre>
$ docker images
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
ubuntu/spider latest 138b6860da02 About a minute ago 228.2 MB
ubuntu latest 6cc0fc2a5ee3 3 days ago 187.9 MB
ubuntu 14.04 6cc0fc2a5ee3 3 days ago 187.9 MB
honeydeiMac:~ caojianfeng$
</pre>
3.5你可以使用如下命令进入之前安装的环境了
<pre>
$docker run -it ubuntu/spider
</pre>