10.scrapy的高级特性
2018-06-14 本文已影响0人
MononokeHime
暂停与重启功能建议在命令行下进行使用，而不是选择在pycharm运行
在项目下，新建文件夹xxx-info/001，这个文件夹是用来保存scrapy运行和暂停的中间状态数据的
开启爬虫
scrapy crawl myspider -s MYDIR=xxx-info/001
暂停爬虫：按一次ctrl+c。如果按两次就是强制关闭爬虫。
重启，与上面同样的命令
scrapy crawl myspider -s MYDIR=xxx-info/001
注意：
- 不同的spider使用不同的目录
- 如果想重爬，需要重新名一个文件夹，例如xxx-info/002
待更新...
