爬虫----服务器上的部署

step1安装使用到的相关库

scrapyd

pip3 install scrapyd

• scrapyd:是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。

scrapyd-client

pip3 install scrapyd-client

• 发布爬虫需要使用另一个专用工具，就是将代码打包为EGG文件，其次需要将EGG文件上传到远程主机上这些操作需要scrapyd-client来帮助我们完成

step2　修改scrapy项目目录下的scrapy.cfg配置文件

url=http://localhost:6800
project=项目名称

本地部署 项目部署相关命令： 注意这里是项目的名称而不是工程的名称

scrapyd-deploy -p <项目名称>

也可以指定版本号

scrapyd-deploy -p <项目名称> --version <版本号>

运行爬虫

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

关闭爬虫

curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid'

获取部署的爬虫项目列表

curl http://localhost:6800/listprojects.json

获取项目下的爬虫文件列表

curl http://localhost:6800/listspiders.json?project=myproject

获取工程下的爬虫运行状态

curl http://localhost:6800/listjobs.json?project=myproject

删除部署的爬虫项目

curl http://localhost:6800/delproject.json -d project=myproject