爬虫笔记（3） 并发多线程

1.单进程爬虫存在的问题

• 我们在爬虫笔记（2）中详细的对糗事百科进行了分析，并且给出了核心代码。如果用这个代码去爬糗事百科，确实没有问题，但是就是有些慢。作为一个爬虫大部分时间都是在等待网络返回数据，所以采用多线程或者多进程都是可以的，虽然线程在python存在全局同步问题。我这里使用多线程来实现并发。
• 还有一点就是没有考虑数据存储问题，数据存储采用mongodb，文档型数据库与python还是非常契合的。

2.threading使用入门

线程的使用非常简单，定义个线程函数然后使用Thread创建线程。

from threading import Thread
def subthread(name):
    print name
def main():
    t = Thread(target=subthread,args=('hello',))
    t.setDaemon(True) #设置为守护进程
    t.start() #启动线程
    t.join() #等待线程结束
if __main__=='main':
    main()

3.mongodb使用入门

mongodb是文档型数据库，没有关系型数据库复杂的结构，操作也很简单。

• 启动数据库
  直接在命令行中运行mongodb服务器程序mongod

  
  服务器启动画面
• 使用数据库客户端mongo
  在默认的情况如果连接本地数据库是不需要参数的，直接在命令行中敲击mongo就可以了。

mongo初始界面

• 常用系统命令

>show dbs #列出数据库
blog  0.000GB
test   0.000GB
mydb 0.000GB
>use blog #切换数据库，数据库的创建也是使用use命令
switched to db blog
>db #当前数据库
blog
>show tables #列出当前数据中的表，show collections也是一样的意思

• 数据操作方法

#插入
>db.content.insert({'name':'xiaozhang','age':15})  #insert可以创建表
WriteResult({"nInserted":1})
#查找
>db.content.find({}) #find方法中的参数代表条件，{}代表不过滤对于这种情况也可以不传入参数
{"_id":ObjectId("5852a97d80a8486e39d52ae3"),"name"::"xiaozhang","age":15}
#更新
>db.content.update({"name":"xiaozhang"},{$set:{"name":"xiaowu"}}) #第一个参数是条件，第二个参数是新值
#删除
>db.content.remove({})#参数也是条件，{}会删除所有数据

mongodb操作相对简单，上面只是简单的示例如何对数据进行操作。其中一个很关键的内容就是如何设置条件，这里没有详细介绍条件设置问题，以后如果需要对数据进行分析就需要这方面的知识。

4.多线程版爬虫

对于download和parse这两个方法是不需要变化的，这里需要修改主线程代码以及添加子线程代码。

• 线程代码

def subthread(url):
    html = download(url)
    data = parse(html)
    handle(data)

• 数据处理代码

def handle(data):
    urls = data['urls']
    for url in urls:
      if url not in fetch_urls:
          fetch_urls.add(url)
          queue.put(url)
     content = data['content']
     save(content) 

• 数据存储

import pymongo
client = pymongo.MongoClient()
db = client.qiushibaike
def save(content):
    collection = db.content
    collection.insert(content)

子线程代码其实非常简单，不需要太多处理。将页面下载和分析移入到子线程中，主线程就需要负责任务的分配作业。

import Queue
from threading import Thread
init_url = 'http://www.qiushibaike.com' #初始化页面
queue = Queue.Queue() #任务队列
fetch_urls = set() #已访问页面集合
queue.put(init_url)
fetch_urls.add(init_url)
while True:
    if queue.size()>0:
      url = queue.get()
      t = Thread(target=subthread,args=(url,)
      t.setDaemon(True)
      t.start()