scrapy启动多爬虫

一般启动方式

scrapy crawl spider_name

命令行启动好处是灵活方便, 可以通过传递参数的形式控制爬虫的行为和输出。

参见官方文档

比如你可以配置爬虫采集到数据的输出方式:

scrapy crawl dmoz -o items.json

但是它的缺点也很明显:

• 原子性太强，不方便动态调试代码
• 当需要启动多个爬虫时，不方便操作

新的思路

我们知道Scrapy是基于Twisted实现的爬虫框架, 因此我们可以通过引入reactor来启动我们的爬虫。

为了方便理解，我把的项目结构展示出来：

.
├── learn_scrapy
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── __init__.py
│       └── test.py
├── debug.py
└── scrapy.cfg

我在项目根目录下新建了文件 debug.py

#! /usr/bin/env python3
# -*- coding: utf-8 -*-
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.project import get_project_settings
from scrapy.utils.log import configure_logging
# 引入spider
from learn_scrapy.spiders.test import TestSpider
import logging


logger = logging.getLogger(__name__)

settings = get_project_settings()
configure_logging(settings)
runner = CrawlerRunner(settings)


def start_spider():
    # 装载爬虫
    runner.crawl(TestSpider)
    # 如果有多个爬虫需要启动可以一直装载下去
    # runner.crawl(TestSpider2)
    # runner.crawl(TestSpider3)
    # runner.crawl(TestSpider4)
    # ... ...
    
    # 爬虫结束后停止事件循环
    d = runner.join()
    d.addBoth(lambda _: reactor.stop())

    # 启动事件循环
    reactor.run()


def main():
    start_spider()


if __name__ == '__main__':
    main()

运行这个文件python3 debug.py就可以启动爬虫。

动态调试

在IDE下选择启动debug：

image

可以看到程序停在了断点处，可以很方便的查看程序运行时的堆栈和变量信息：

image