Scrapy框架-通过Scrapyd来部署爬虫
前言
爬虫写完了，很多时候本机部署就可以了，但是总有需要部署到服务器的需求，网上的文章也比较多，复制的也比较多，从下午3点钟摸索到晚上22点，这里记录一下。
环境情况
- 我的系统是Deepin
- 开发环境也是Deepin，python 环境用的是Anaconda建立的虚拟环境（python3.6）
- 部署系统是本机的Deepin
- 部署环境由于在本机部署，所以跟开发环境一致（就是这里有个坑）
- 用到的服务是scrapyd
参考文章
网上对于scrapy部署的文章真是很多，一搜就很多页结果，但是我看很多都是复制粘贴，命令错了也没改。我的是综合多个文章来实际执行的，这里列一下我看过的文章：
- https://www.jianshu.com/p/694a56b2199a 【scrapyd部署scrapy项目】
- https://www.jianshu.com/p/495a971233b5 【scrapyd+supervisor在ubuntu部署scrapy项目】
- https://www.jianshu.com/p/f0077adb74bb 【使用Scrapyd部署爬虫】
- http://blog.csdn.net/qq_40717846/article/details/79014132 【搭建分布式架构爬取知乎用户信息】
介绍
Scrapyd是scrapinghub官方提供的爬虫管理、部署、监控的方案，文档传送
安装scrapyd
对于它的安装，网上的说法层出不穷，有可能是老版本吧？
我的安装很简单，在本机虚拟环境中 pip isntall scrapyd，就完成了
没有安装scrapyd-client也没有安装scrapyd-deploy，就是这么简简单单。
使用
它的使用有3个步骤
1、为了检查是否安装正确，在电脑任意一个地方打开终端（再次强调，我的电脑系统是linux），输入scrapyd，如果没有报错，请打开 http://localhost:6800 ,看到如下画面则代表服务启动成功，看到启动成功后就可以关闭了。
输入图片说明
2、到scrapy工程目录内打开的scrapy.cfg文件，将原代码改为：
[settings]
default = future.settings
[deploy]
url = http://localhost:6800/
project = Gxrcpro
保存即可
如果是在服务器上面部署（重要，服务器跟本机设置不同），除了改bind端口为0.0.0.0外
bind端口更改地址：
anaconda3/envs/pspiders/lib/python3.6/site-packages/scrapyd
里面有个名为default_scrapyd.conf的文件，其中有一个设置是：
bind_address = 127.0.0.1
要将它改为 0.0.0.0
还需要
[settings]
default = future.settings
[deploy]
url = http://0.0.0.0:6800/
project = Gxrcpro
设置成0.0.0.0，否则会提示name or service not known
3、由于之前在本地随意目录下打开scrapyd，导致爬虫启动失败，后来经过群友[wally小馒头]的帮助才知道失败是因为虚拟环境的问题，这次需要用到pycharm。
在pycharm里面打开teminal，然后输入命令scrapyd
接着看到服务启动，通过teminal左上角的绿色+号打开新的teminal窗口，在窗口输入命令：
scrapyd-deploy -p Gxrcpro
这里的Gxrc和Gxrcpro跟上面的cfg文件设置有关
如果收到一下信息就代表这次命令成功执行：
Packing version 1516456705
Deploying to project "Gxrcpro" in http://localhost:6800/addversion.json
Server response (200):
{"node_name": "ranbo-PC", "status": "ok", "project": "Gxrcpro", "version": "1516456705", "spiders": 1}
接着执行启动爬虫的命令：
curl http://localhost:6800/schedule.json -d project=Gxrcpro -d spider=gxrc
这里的Gxrcpro跟上面的cfg文件设置有关,而gxrc是你写代码时候填写的爬虫名字
收到如下信息：
{"node_name": "ranbo-PC", "status": "ok", "jobid": "5a6c4016fdec11e7ad5800e070785d37"}
则代表这次成功启动爬虫，可以通过localhost:6800/Jobs来查看爬虫运行基本情况。
输入图片说明
通过log可以看到爬虫的信息，如果是正在跑数据，则应该可以在log里面看到爬出来的数据；如果是出错，则会看到报错信息（之前我的环境路径不对，就是能启动，但是报错，爬虫就停止了）
输入图片说明
