scrapy运行爬虫

爬虫运行脚本

点击链接加入群【python技术交流】：https://jq.qq.com/?_wv=1027&k=44cX7Ag
快来加入群【python技术交流】(群号214030345)，发现精彩内容。

scrapy根目录创建run.py文件

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
import sys

if __name__ == '__main__':
    if len(sys.argv) > 1:
        process = CrawlerProcess(get_project_settings())
        process.crawl(sys.argv[1])
        process.start()
    else:
        print 'ERROR:miss spider name!'

点击pycharm上edit configurations，设置参数
debug执行python run.py xxxspider即可
xxxspider为spider name
好处是可以随便调试，断点。运行多个爬虫，自己传各种参数。。。