2018-05-15 爬虫笔记(五) 安装Docker 和Spl
2018-05-16 本文已影响0人
小郑的学习笔记
Docker 是很有用的一个容器,我是爬虫需要渲染动态页面,要用到splash,所以我这里安装一下Docker,本来只有几步命令的活,硬是花费了我好久的时间。
首先,不知道为什么,官网进了好久才进去,但是下载一直点不了。。。
可能是运气问题,以前下载过,但是没有保存就删了。。。
使用wget 也无法建立连接,这个时候,还好有网站可以下载docker.dmg
http://get.daocloud.io/
选择你的版本
然后下载下来之后,竟然chrome报告危险,无法打开,后来我发现,要把文件名修改为docker.dmg才行。OK
勉强安装完了
这里说一下,如果网络好,使用brew也可以下载,但是我就是下载失败,不知道怎么回事。
brew
以为可以,结果一直等待
好了,下载完之后,我准备pull splash
sudo docker pul scrapinghub/splash
但是现实就是error ,百度谷歌了半天也不行,估计还是网的问题,怎么办呢,只能换镜像源
还是同样的网站哈哈
按照步骤操作就OK
这样修改
然后restart, 很不错,OK了
速度还是很快的
complete
试一试hello
hello
最后,安装一个 scrapy-splash
官方推荐