Scrapy 优化(基于 Redis 和 Bloomfilter

2017-12-25  本文已影响0人  苦咖啡JerryKFC

0 背景

最近在研究网络爬虫,用到了 Scrapy,对于一些定向爬虫没有遇到太大的麻烦,于是我尝试做了一个全网爬虫,只取网页的 title,description 和 keywords 等简单信息。

很快就完成了,然后放在那边让它慢慢爬,但是过两天发现 redis 内存占用达到了 80%!占用最多的是 dupefilter 和 requests 两个 key。于是在网上搜索 scrapy 的优化方案。

1 优化

优化步骤主要参考的是:基于Redis的Bloomfilter去重(附Python代码)和他的后续两篇文章。

  1. 采用 Bloom filter 代替 scrapy_redis 中的 RFPDupeFilter
  2. 简化种子队列中的存储结构

作者还很大方的把他的代码开源了,我当然也就很大方的拿来用了,不过使用过程中遇到一些问题。

2 问题

  1. scrapy 连接失败重试的次数 RETRY_TIMES 默认值是 2,但是查看日志:
Retrying <get http:="" www.abc.com=""> (failed 1 times):
Retrying <get http:="" www.def.com=""> (failed 1 times):
...
Retrying <get http:="" www.abc.com=""> (failed 1 times):
Retrying <get http:="" www.def.com=""> (failed 1 times):

每个失败的连接都在不停的重试,而且重试次数一直 1,没有增加。

  1. scrapy 最大跳转的次数 REDIRECT_MAX_TIMES 默认值是 20,正常情况下不会达到上限,直到遇到这个域名:31632.wx.shangjiadao.com。日志里满是:
Redirecting (302) to <get http:="" 31632.wx.shangjiadao.com="" sjd_a44e7bea97a8da936d6d6127a54fca71=""> from <get http:="" 31632.wx.shangjiadao.com="" sjd_971c17241a5a1f07cc0070450a935de0="">
Redirecting (302) to <get http:="" 31632.wx.shangjiadao.com="" sjd_ae83bbb34613a61dd98b0bc214c06fa7=""> from <get http:="" 31632.wx.shangjiadao.com="" sjd_a44e7bea97a8da936d6d6127a54fca71="">

就是对于这一类域名(数字+.wx.shangjiadao.com),会不停的生成新的链接让爬虫跳转,日志里都是这样的跳转就说明跳转次数也没有增加。

3 解决

我跟踪这两个设置 RETRY_TIMES 和 REDIRECT_MAX_TIMES 在代码中的调用,查到他们对应的计数变量 retry_times 和 redirect_times 都是存在 request.meta 中的,但是文章作者在种子队列中只存了 url 和 callback 函数,meta 变量并没有存,导致 scrapy 每次从队列中取出的 request 都相当于初次请求,当然就会出现上面两个问题。

解决办法就是把 meta 也存进种子队列中:

def simple_request_to_dict(request, spider=None):
    """Convert Request object to a dict.

    If a spider is given, it will try to find out the name of the spider method
    used in the callback and store that as the callback.
    """
    #cb = request.callback
    #if callable(cb):
    #    cb = _find_method(spider, cb)
    d = {
        'url': to_unicode(request.url),  # urls should be safe (safe_string_url)
        #'callback': cb,
        'meta': request.meta,
    }
    if type(request) is not Request:
        d['_class'] = request.__module__ + '.' + request.__class__.__name__
    return d

def simple_request_from_dict(d, spider=None):
    """Create Request object from a dict.

    If a spider is given, it will try to resolve the callbacks looking at the
    spider for methods with the same name.
    """
    #cb = d['callback']
    #if cb and spider:
    #    cb = _get_method(spider, cb)
    request_cls = load_object(d['_class']) if '_class' in d else Request
    return request_cls(
        url=to_native_str(d['url']),
        #callback=cb,
        meta=d['meta'])


class SimpleFifoQueue(FifoQueue):
    """Per-spider simple (url + callback + meta) FIFO queue, meta is important to scrapy"""

    def _encode_request(self, request):
        """Encode a request object"""
        obj = simple_request_to_dict(request, self.spider)
        return self.serializer.dumps(obj)

    def _decode_request(self, encoded_request):
        """Decode an request previously encoded"""
        obj = self.serializer.loads(encoded_request)
        return simple_request_from_dict(obj, self.spider)

直接复用 scrapy_redis 中的 FifoQueue(原文作者的代码基本就是这个意思),然后重写 request 和字典转换的函数(我只有一个 callback 函数 parse,于是 callback 也省了,要用的话把注释去掉就行)。

Mission accomplished.

上一篇 下一篇

猜你喜欢

热点阅读