26.linux安装scrapy-splash

2019-04-02  本文已影响0人  starrymusic

预备条件:

如果使用虚拟机安装scrapy-splash,请确认下自己虚拟机的硬盘大小,如果根挂载点只有10G,建议重新安装虚拟机,将虚拟机硬盘设大一点,我这里虚拟机的硬盘为40G,根挂载点28G。

(如何在Windows上安装虚拟机,请点我

如果根挂载点比较小,可用空间小,安装过程中会报错,解决错误比较浪费时间。

安装docker:

linux安装scrapy-splash之前需要先安装docker,安装docker可以自己度娘,安装即可。我这里参考的文章是(点我);安装后有可能会报错:

docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. 
Is the docker daemon run

不要着急,可以参考这篇文章(点我
使用命令:

sudo service docker start

重启下,然后查看下重启后的状态:

sudo service docker status

如果已经运行,查看下docker的版本号,,验证下是否安装成功:

docker version

已显示docker版本信息,说明docker已成功安装

安装splash:

安装splash:

docker run -p 8050:8050 scrapinghub/splash

安装后有可能报344错误:

docker: Error response from daemon: OCI runtime create failed: container_linux.go:344: 
starting container process caused "process_linux.go:293:
 copying bootstrap data to pipe caused \"write init-p: broken pipe\"": unknown.

我是使用最笨的方式--更新CentOS版本
(如果有更好的方式,不推荐这种做法,比较耗费时间,你如果这样做了,可以找一本在读的书,继续读;如果已是深夜,那么你可以睡觉了)

yum -y update

更新完成后,重启下

reboot

然后重新输入:

docker run -p 8050:8050 scrapinghub/splash

显示这样的信息,就说明splash已成功安装了,在浏览器里输入:

localhost:8050

旋转,跳跃,我闭着眼。嘻嘻。

按Ctrl+C就可以关闭这个端口。

关机重启,打开虚拟机时,如果出现多个启动项,需要删除一个(参考文章:点我

查看当前系统版本:

uname -a

查看系统中全部的内核RPM包:


由上图可以看到,kernel有327版本也有957版本,把旧版本327删除。

yum remove kernel-3.10.0-327.el7.x86_64
yum remove kernel-devel-3.10.0-327.el7.x86_64

删除后,查询下,然后重启

这时就只有两个了

开机启动后第一件事,看下自己安装的splash是否还正常,一切安好,嘻嘻!

安装scrapy-splash:

pip install scrapy-splash

(以上默认linux下已经有python环境,我的是anaconda3.5自带的python3.6版本)

上一篇下一篇

猜你喜欢

热点阅读