Web crawler with Python - 06.海量数

作者：xlzd

链接：https://zhuanlan.zhihu.com/p/20435541

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

到目前为止，在没有遇到很强烈反爬虫的情况下，我们已经可以正常抓取一般的网页了（对于发爬机制很严格的、JavaScript动态生成的内容，我们将在后面探讨）。可是，目前的抓取仅仅可以针对数据量比较小的网站，对于那种动辄上百万甚至上亿数据量的网站，我们又应该如何设计爬虫结构，才能尽可能快且可控地抓取数据呢？

假设我们有这样一个需求——有一个网站有一亿条数据，按照每页10条分布在一千万网页中，我们的目的是要抓到自己的数据库中。这时候，你会发现我们之前一页一页循环抓取的策略会显得力不从心了，就算一个页面的网络请求+解析+存储只需要1秒，那也是需要整整一千万秒！那么，在应对这样的需求的时候，我们又应该怎样处理呢？

从单个程序的效率来讲，使用多线程或者协程是一个不错的解决方案。虽然由于Python中GIL的原因，多线程并不能利用到多核的优势，但是爬虫这种IO密集型程序，大多数时间是在等待——等待网络IO、等待数据库IO、等待文件IO等，所以多线程在大部分情况下是可以满足我们想要为爬虫程序加速的需求的。多线程在拥有这些优势的同时，同样存在一些劣势：不方便利用多台机器的资源来一起抓取目标网站，因为机器间的通信会比较复杂。

这时候，我们需要考虑另一种结构：将其中一台机器专门处理任务的分发，剩下的机器用于对应任务的数据抓取和存储工作（这两部甚至也可以分离）。所谓“任务”，即是我们的爬虫从宏观上可以分割的最小单元。比如对于上面的例子，那么就是这一千万个网页的页码。我们在一台机器中保存一千万个页码，剩下的机器则通过请求这台机器获取一个任务（页码），然后发出请求抓取这个页码对应页面的东西，存储之后，继续上面的步骤，请求新的页码......

这样的过程其实是讲程序分离为两个不同的模块，用Python的对应简单实现如下：

#!/usr/bin/env python# encoding=utf-8importrandom,time,Queuefrommultiprocessing.managersimportBaseManager# 发送任务和接收结果的队列:task_queue,result_queue=Queue.Queue(),Queue.Queue()# 从BaseManager继承的QueueManager:classQueueManager(BaseManager):pass# 把两个Queue都注册到网络上, callable参数关联了Queue对象:QueueManager.register('get_task_queue',callable=lambda:task_queue)QueueManager.register('get_result_queue',callable=lambda:result_queue)# 绑定端口9999, 设置验证码'crawler':manager=QueueManager(address=('',9999),authkey='crawler')# 启动Queue:manager.start()# 获得通过网络访问的Queue对象:task=manager.get_task_queue()result=manager.get_result_queue()# 将一千万网页页码放进去:foriinxrange(10000000):print('Put task%d...'%n)task.put(i)# 从result队列读取结果:print('Try get results...')foriinxrange(10000000):r=result.get(timeout=10)print('Result:%s'%r)# 关闭:manager.shutdown()

这里我们使用Python自带的BaseManager来处理分发和回收任务（注意：这种方式非常难用且不安全，这里只是举例，后面会提供更好的解决方案），然后，我们的爬虫程序只需要接收一个页码作为参数，抓取这个页码的对应数据就好了：

#!/usr/bin/env python# encoding=utf-8importtime,sys,Queuefrommultiprocessing.managersimportBaseManager# 创建类似的QueueManager:classQueueManager(BaseManager):pass# 由于这个QueueManager只从网络上获取Queue，所以注册时只提供名字:QueueManager.register('get_task_queue')QueueManager.register('get_result_queue')# 端口和验证码m=QueueManager(address=('127.0.0.1',9999),authkey='crawler')# 从网络连接:m.connect()# 获取Queue的对象:task=m.get_task_queue()result=m.get_result_queue()# 从task队列取任务,并把结果写入result队列:whileTrue:page=task.get(timeout=10)# 获取任务crawl(page)# 抓取对应页面并存储result.put(page)# 汇报任务# 处理结束:print('worker exit.')

上面的代码参考了廖雪峰的博客。通过如上的方式，我们可以在一台机器上启动服务端，另一台或多台机器上启动爬取端（这个两个部分可以跑在同一台机器，所以如果你只有一台电脑一样可以测试效果）。通过这样的方式，我们便可以方便地通过在一台机器多启动几个爬虫实例（worker）或者新增机器的方式来加快抓取速度，在新增worker的时候，并不会影响到其他已存在worker的抓取，且不会重复抓取浪费资源，还不需要机器间两两通信。

当然，上面的代码只是用于演示这样的逻辑。如果在真实的应用场景下这样使用，其实是非常麻烦的：服务端会一次性将任务写到task queue中，内存占用较高甚至可能OOM，且在抓取的过程中不容易监测进度。所以，我们可以使用MessageQueue在替代我们的服务端（处理任务分发）。我们将消息按照上面的逻辑写入到一个MessageQueue中（如ActiveMQ、RabbitMQ等），然后爬虫端连接这个MQ，一次取出一条（或者多条）页码进行抓取和存储。这样的优势在于：内存占用更优，服务端稳定性更好，抓取过程中容易监测进度，更方便任务的增加与删除。

小结

这篇博客从理论上总结了在抓取较大量数据时的一个解决方案，之所以称为从理论上，因为在看完博客之后，你还需要实际动手完成博客所讲：搭建一个MQ、编写代码将任务插入MQ、编写代码从MQ取出消息并调用爬虫处理。下一节，我们将总结一些常见的反爬虫机制及相关处理方案。