关于分布式爬虫思考

这一篇，没有项目，没有教程。只不过是想记录下最近对于分布式爬虫的思考。半年前我去一家公司面试的时候，面试官问我什么是分布式爬虫，我只能回呵呵哒。在后来工作中渐渐地对这东西有了初步认识。爬虫无非两样东西

• 网站的破解
• 爬取的效率
  由于我很懒，爬虫就随便写写怼上服务器上跑就行了，从来不考虑效率的问题，所以用到分布式的情况很少。不过也有用到的时候，之前爬个youtube，除了爬取视频信息又要下载视频又要上传视频，还要下载缩略图上传缩略图。如果只用一个爬虫去做的话，其实也没什么，就是会失业而已。然后我就开始尝试去做分布式。我从网上看到的大部分分布式教程，都是用redis来储存任务队列，然后开启几个slave爬虫来提高爬取速度。不过我当时懒，懒得学redis，就直接用mongodb来存取任务队列。
  微信截图_20170815103745.png
  master爬虫在网站的列表页中爬取任务url去重后写入mongo，然后开启各个slave爬虫从mongo中领取任务，完成任务的就打上标签。这是我的做法，用mongo的读取速度应该比不上用储存在内存的redis。但由于我的slave爬虫不仅要完成爬取任务还要进行下载上传多种操作，mongo比redis更适合。
  不过看到网上把redis传得神乎其神，我自然也得去了解，不经意间就看到了scrapy-redis这个包 https://scrapy-redis.readthedocs.io/en/stable/ 可是它的文档内容很少，可以了解的内容不多，只能通过阅读源码去了解。我一开始心想，为什么要有这个包？因为我可以自己在我的scrapy项目里用redis来写分布式爬虫啊。无非就是一个爬虫爬任务url，其他的爬虫领任务来爬字段。然后把scrapy-redis的示例跑起来我发现了不一样的东西。使用这个包的爬虫如果没有获得任务队列，是可以挂起的，直到从redis中重新获得任务队列才会再跑起来。如果是我自己写的话，那我做不到让爬虫挂起等待任务队列。
  无意中我也看到了个celery的分布式爬虫。celery这个我之前用过，是完成异步任务的。之前在项目中是用在发邮件这个部分。我看到网上的一篇文章的分布式爬虫，只看源码我总觉得差了点什么。

1937608650-1.png

代码来源:http://p0sec.net/index.php/archives/58/
# !/usr/bin/python
# -*- coding: utf-8 -*-
from spider import getPageUrl
from spider import getUrl
from spider import getImg
import requests
import threading
x = 0
#run函数
def Run():
    pageurls = getPageUrl.delay().get()#这个是celerytask
    for i in range(1,len(pageurls)):
        html = requests.get(pageurls[i]).text
        urllist = getUrl.delay(html).get()#这个也是celerytask
        for url in urllist:
            url = 'http://umei.cc'+url
            print url
            ImgHtml = requests.get(url).text
            imglist = getImg.delay(ImgHtml).get()#这个也是celerytask
            for imgurl in imglist: 
                print imgurl
                urllib.urlretrieve(imgurl,'/test/%s.jpg' % x)  
                global x
                x += 1
if __name__ == '__main__':
    Run()

我在上面标注的三个celery task。一般的操作都是 task.delay()，直接异步完成任务，不返回结果。可是这个爬虫有个返回结果的操作get()。这我就看不懂了，这等待结果返回才开始下一步，不成了堵塞么？
继续拿我的Youtube爬虫来探讨，按我的理解，celery的任务都是异步完成的。也就是说，我的视频爬取，下载上传全部异步完成。我只要写个爬虫爬取任务队列，然后建立写异步task（下载视频，上传视频，下载图片，上传图片），画个图吧

图片.png

通过task.delay()这个操作让任务自己在后台执行并完成，完美！原来celery分布式爬虫是这样使用！
现在思路清晰了，也知道怎么做了。但素！我不想写代码去验证思路和效率！

因为我懒