使用pipenv scrapyd 部署爬虫

由于项目环境使用的pipenv管理(使用scrapyd一定注意)，在控制台中需要进入pipenv shell中操作

1，修改scrapyd配置文件：路径在pipenv的/Users/YY/.local/share/virtualenvs/recipeSpider-wU3WBR7t/lib/python3.6/site-packages/scrapyd 中的default_scrapyd.conf，修改bind_address = 0.0.0.0

2，让scrapyd在后台运行并将输出保存到日志：(scrapyd > ~/scrapyd.log &) 

3，打包scrapyd-deploy server -p recipeSpider

4， 运行 curl http://localhost:6800/schedule.json -d project=recipeSpider -d spider=recipelist

    遇到错误 TypeError: init() got an unexpected keyword argument '_job' ， 需要在spider的__init__方法里添加 **kwargs 参数