Scrapy 优化(基于 Redis 和 Bloomfilter
0 背景
最近在研究网络爬虫,用到了 Scrapy,对于一些定向爬虫没有遇到太大的麻烦,于是我尝试做了一个全网爬虫,只取网页的 title,description 和 keywords 等简单信息。
很快就完成了,然后放在那边让它慢慢爬,但是过两天发现 redis 内存占用达到了 80%!占用最多的是 dupefilter 和 requests 两个 key。于是在网上搜索 scrapy 的优化方案。
1 优化
优化步骤主要参考的是:基于Redis的Bloomfilter去重(附Python代码)和他的后续两篇文章。
- 采用 Bloom filter 代替 scrapy_redis 中的 RFPDupeFilter
- 简化种子队列中的存储结构
作者还很大方的把他的代码开源了,我当然也就很大方的拿来用了,不过使用过程中遇到一些问题。
2 问题
- scrapy 连接失败重试的次数 RETRY_TIMES 默认值是 2,但是查看日志:
Retrying <get http:="" www.abc.com=""> (failed 1 times):
Retrying <get http:="" www.def.com=""> (failed 1 times):
...
Retrying <get http:="" www.abc.com=""> (failed 1 times):
Retrying <get http:="" www.def.com=""> (failed 1 times):
每个失败的连接都在不停的重试,而且重试次数一直 1,没有增加。
- scrapy 最大跳转的次数 REDIRECT_MAX_TIMES 默认值是 20,正常情况下不会达到上限,直到遇到这个域名:31632.wx.shangjiadao.com。日志里满是:
Redirecting (302) to <get http:="" 31632.wx.shangjiadao.com="" sjd_a44e7bea97a8da936d6d6127a54fca71=""> from <get http:="" 31632.wx.shangjiadao.com="" sjd_971c17241a5a1f07cc0070450a935de0="">
Redirecting (302) to <get http:="" 31632.wx.shangjiadao.com="" sjd_ae83bbb34613a61dd98b0bc214c06fa7=""> from <get http:="" 31632.wx.shangjiadao.com="" sjd_a44e7bea97a8da936d6d6127a54fca71="">
就是对于这一类域名(数字+.wx.shangjiadao.com),会不停的生成新的链接让爬虫跳转,日志里都是这样的跳转就说明跳转次数也没有增加。
3 解决
我跟踪这两个设置 RETRY_TIMES 和 REDIRECT_MAX_TIMES 在代码中的调用,查到他们对应的计数变量 retry_times 和 redirect_times 都是存在 request.meta 中的,但是文章作者在种子队列中只存了 url 和 callback 函数,meta 变量并没有存,导致 scrapy 每次从队列中取出的 request 都相当于初次请求,当然就会出现上面两个问题。
解决办法就是把 meta 也存进种子队列中:
def simple_request_to_dict(request, spider=None):
"""Convert Request object to a dict.
If a spider is given, it will try to find out the name of the spider method
used in the callback and store that as the callback.
"""
#cb = request.callback
#if callable(cb):
# cb = _find_method(spider, cb)
d = {
'url': to_unicode(request.url), # urls should be safe (safe_string_url)
#'callback': cb,
'meta': request.meta,
}
if type(request) is not Request:
d['_class'] = request.__module__ + '.' + request.__class__.__name__
return d
def simple_request_from_dict(d, spider=None):
"""Create Request object from a dict.
If a spider is given, it will try to resolve the callbacks looking at the
spider for methods with the same name.
"""
#cb = d['callback']
#if cb and spider:
# cb = _get_method(spider, cb)
request_cls = load_object(d['_class']) if '_class' in d else Request
return request_cls(
url=to_native_str(d['url']),
#callback=cb,
meta=d['meta'])
class SimpleFifoQueue(FifoQueue):
"""Per-spider simple (url + callback + meta) FIFO queue, meta is important to scrapy"""
def _encode_request(self, request):
"""Encode a request object"""
obj = simple_request_to_dict(request, self.spider)
return self.serializer.dumps(obj)
def _decode_request(self, encoded_request):
"""Decode an request previously encoded"""
obj = self.serializer.loads(encoded_request)
return simple_request_from_dict(obj, self.spider)
直接复用 scrapy_redis 中的 FifoQueue(原文作者的代码基本就是这个意思),然后重写 request 和字典转换的函数(我只有一个 callback 函数 parse,于是 callback 也省了,要用的话把注释去掉就行)。
Mission accomplished.