scrapy--分布式爬虫

为什么使用分布式爬虫

分布式：MongoDB的主从（一主多从）
分布式就比如说一个工厂生产线，有车间主人，车间主人分配任务给一个员工，和任务分给多个员工的时候，那是一个人还是多个人的效率高那

同理：

• 单机版爬虫：

引擎把一个request请求任务放到调度器任务队列，向服务器发起请求的时候会从调度器拿到request请求给下载器发起请求。

image.png

• 多台机器同时爬取数据大大提高了爬取的效率。当多台机器同时进行爬虫的时候我们需要一个资源管理的容器（调度器）取管理和分配任务

  
  image.png

提取的数据、新提取的url会继续构建一个request请求交给资源管理器

scrapy-redis

安装：pip3 install scrapy-redis

• Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式
• Scrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改)

Scheduler
Duplication Filter
Item Pipeline
Base Spider

• Scrapy_redis是工作流程:

  
  image.png

具体操作：

配置settings文件

# 1：设置去重组件，使用的是scrapy_redis的去重组件，而不是scrapy自己的去重组件了
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2：设置调度器，使用scrapy——redis重写的调度器，
# 而不再使用scrapy内部的调度器了
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 3：可以实现断点爬取=jondir，（请求的记录不会丢失，会存储在redis数据库中，
# 不会清楚 redis的队列，下次直接从redis的队列中爬取）
SCHEDULER_PERSIST = True
# 4：设置任务队列的模式（三选一）：
# SpiderPriorityQueue数据scrapy-redis默认使用的队列模式（
# 有自己的优先级）默认第一种
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# 使用了队列的形式，任务先进先出。
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
# 采用了栈的形式：任务先进后出
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"
#5： 实现这个管道可以将爬虫端获取的item数据，统一保存在redis数据库中
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 400,
}

# 6：指定要存储的redis数据库的主机IP
REDIS_HOST = '127.0.0.1'  # 远端的ip地址

# 指定redis数据库主机的端口
REDIS_PORT = 6379

使用scrapy-redis

• 代码执行之后redis自动生成以下内容：

"xcfCrawlSpider:requests"：存储的是请求的request对象
"xcfCrawlSpider:items":存储的爬虫端获取的items数据
"xcfCrawlSpider:dupefilter"：存储的指纹(为了实现去重)
127.0.0.1:6379> type xcfCrawlSpider:requests
zset
127.0.0.1:6379> type xcfCrawlSpider:items
list
127.0.0.1:6379> type xcfCrawlSpider:dupefilter
set

• 第一种情况：只设置settings文件，并没有实现分布式，只是实现了scrapy_redis的数据储存和去重功能（只实现了存，没有取）

import scrapy
from xiachufang.items import XiachufangTagItem,XiachufangCaiPuItem,XiachufangUserInfoItem


class XcfSpider(scrapy.Spider):
    name = 'xcf'
    allowed_domains = ['xiachufang.com']
    #start_urls = ['https://www.xiachufang.com/category/40076/?page=1']
    start_urls = ['http://www.xiachufang.com/category/']

    def start_requests(self):
        pass

• 第二种：通用爬虫

from scrapy_redis.spiders import RedisCrawlSpider
# 继承自redis——crawlspider
class MyCrawler(RedisCrawlSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'mycrawler_redis'
    # 缺少了start_url,多了redis_key:根据redis_key从redis数据库中获取任务
    redis_key = 'mycrawler:start_urls'

启动爬虫
爬虫出现等待状态:我们需要在redis中设置起始任务:
redis输入命令：lpush xcfCrawlSpider:start_urls http://www.xiachufang.com/category/

注意:在redis保存起始url的时候，windows系统写url的时候不加引号，ubuntu如果输入redis命令不生效，url需要加引号

• 第三种情况：实现scrpy.spider爬虫的分布式爬虫

  from scrapy_redis.spiders import RedisSpider
    #继承自：RedisSpider
    class MyCrawler(RedisSpider):
        """Spider that reads urls from redis queue (myspider:start_urls)."""
        name = 'mycrawler_redis'
        allowed_domains = ['dmoz.org']
        #缺少了start_url,多了redis_key:根据redis_key从redis
        #数据库中获取任务
        redis_key = 'mycrawler:start_urls'

        def start_requests(self):
            """
            重写这个方法的目的可以根据自己的需求发起请求
            :return:
            """
            for url in self.start_urls:
                yield scrapy.Request(url, callback=self.parse, dont_filter=True)
        def parse(self, response):
             pass
    启动爬虫：scrapy crawl 爬虫名称
    现象:爬虫处于等待状态
    需要设置起始任务：
    lpush mycrawler:start_urls 目标url

注意：实现scrpy.spider爬虫的分布式爬虫第一个回调方法必须是parse，否则代码无法运行。第三种情况同样要注意redis的命令