scrapy命令行详解
2017-12-12 本文已影响54人
天涯笨熊
1：创建scrapy项目
scrapy startproject XXXXXX
2：进入项目目录
cd XXXX
3：生成spider
scrapy genspider baidu www.baidu.com
4：列出创建spider所有可用模板
scrapy genspider -l
5：指定模板生成spider
scrapy genspider -t crawl zhihu www.zhihu.com
6：运行spider
scrapy crawl spider
7：检查语法是否有错误
scrapy check
8：返回所有spider的名称
scrapy list
9：测试爬取速度
scrapy bench
10：爬取结果输出到指定文件
scrapy crawl quotes -o quotes.csv
