动手写爬虫(3):爬取赶集网二手物品信息

掌握了BeatifulSoup的基本用法之后，爬取单个网页实际上是比较简单的：只需要使用requests库中的get方法先向网页发出请求，用BeatifulSoup把网页转成soup，再对soup使用各种select方法，即可得到所需的网页元素，再稍做整理，即可得到所需的结构化内容。

那么，如果要爬取一系列的网页内容呢？
这就需要对爬取过程做一下调度准备了，下面以赶集网二手物品信息为例，介绍一下10万量级网页的爬取过程。

0.爬取目标

选择一个地市的赶集全部二手物品类目作为爬取目标，爬取其下所有二手物品页面、二手物品详细信息。

赶集二手物品类目.png 爬取目标.png

1.制定爬取过程策略

我们按照倒序来分析一下爬取过程
-最后一步：爬取最终的爬取页面，也就是上面的图二（爬取目标），存储所需信息
-倒数第二步：通过类目页面获取最后一步所需的最终页面的链接
-倒数第三步：想办法获取类目页面链接<-- 通过赶集首页-二手栏目，下方的二手物品类目，如上面图一。

我们再把这个过程正过来，也就是正常在赶集上找到对应物品信息的过程——爬取过程就是把这个找寻的过程重复再重复。

当然，上述处理过程中，需要将中间爬取的链接一步一步存储下来、一步一步再提取出来使用，并规避重复。

**大规模爬取信息过程**.png

2.动手开始爬！

过程明确了，实现起来就不复杂了。主要需要注意的是中间存url、取url的过程：注意避免重复——爬过的留一个已爬记录，爬前到这个记录里检查一下有没有，如果已爬，那就跳过！

（1）第一部分代码：获取类目信息

import requests
from bs4 import BeautifulSoup

headers = {
    'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
}

home_url = 'http://xa.ganji.com/wu/'
wb_data = requests.get(home_url,headers = headers)
soup = BeautifulSoup(wb_data.text,'lxml')
#print(soup)

utag = soup.select('dl > dt > a[target="_blank"]')

url_list = ''

for item in utag:
    utag_tag = item.get('href')
    #print(utag_tag)
    url = 'http://xa.ganji.com{}'.format(utag_tag)
    url_list = url_list + url + '\n'
    print(url)

获取完后，把类目url存储为变量channel_list,备用。

（2）第二部分代码：两个获取页面信息的函数

这一步我们先写获取最终页面链接的函数、再写通过最终链接获取目标信息对应的函数。
函数1的参数有类目链接、子页面编码两个，在调用这个函数的时候，我们再去写对应的编码循环、类目循环。
函数2的参数只有最终页面链接一个。

import pymongo
import requests
from bs4 import BeautifulSoup
import time
from get_ori_url import channel_list,headers


client = pymongo.MongoClient('localhost',27017)
ganji = client['ganji']
#重新建立一个url集
urlset = ganji['urlset']
urlspideset = ganji['urlspideset']
second_info = ganji['second_info']

#step1: get the urls of secondhand
def get_urls(channel,pages):
    url_secondhands = '{}o{}'.format(channel,pages)
    time.sleep(6)
    print(url_secondhands)
    db_urls = [item['url'] for item in channel_sec.find()]
    if url_secondhands in db_urls:
        print('the',url_secondhands,'has spide already!')
        pass
    else:
        wb_data = requests.get(url_secondhands,headers = headers)
        soup = BeautifulSoup(wb_data.text,'lxml')
        #add the url into have spide
        channel_sec.insert_one({'url':url_secondhands})
        #add: if page error,then pass
        url_secondhand = soup.select('dd.feature > div > ul > li > a')
        for item in url_secondhand:
            url_s = item.get('href')
            urlset.insert_one({'url':url_s})
            print(url_s)
        # insert the url had spide into a set;

#step2: get the information we need from the secondhand pages

def get_item_info(url):
    time.sleep(2)
    db_urls = [item['url'] for item in urlspideset.find()]
    if url in db_urls:
        print('the url "',url,'"has aready spide!')
        pass
    else:
        wb_data = requests.get(url,headers=headers)
        soup = BeautifulSoup(wb_data.text,'lxml')
        title = soup.select('h1')
        pagetime = soup.select('div.col-cont.title-box > div > ul.title-info-l.clearfix > li:nth-of-type(1) > i')
        type = soup.select('div.leftBox > div:nth-of-type(3) > div > ul > li:nth-of-type(1) > span > a')
        price = soup.select('div > ul > li:nth-of-type(2) > i.f22.fc-orange.f-type')
        address = soup.select('div.leftBox > div:nth-of-type(3) > div > ul > li:nth-of-type(3)')
        # can't get the pv,need other method
        # pageview = soup.select('pageviews')
        for t1,p1,type1,price1,add1 in zip(title,pagetime,type,price,address):
            data = {
                'title':t1.get_text(),
                'pagetime':(p1.get_text().replace('发布','')).strip(),
                'type':type1.get_text(),
                'price':price1.get_text(),
                'address':list(add1.stripped_strings)
            }
            second_info.insert_one(data)
            print(data)
        urlspideset.insert_one({'url':url})

（3）第三部分代码：调用上述函数获取目标信息

首先是调用函数get_urls，通过类目信息，获取最终页面链接集：

from multiprocessing import Pool
from get_ori_url import channel_list
from spider_ganji import get_urls

def get_url_from_channel(channel):
    for num in range(1,71):
        get_urls(channel,num)

if __name__ == '__main__':
    pool = Pool()
    pool.map(get_url_from_channel,channel_list.split())

根据调用的函数，获取的链接会存储在MongoDB下的ganji库urlset表中。

再调用函数 get_item_info，逐个页面获取所需信息：

from multiprocessing import Pool
from spider_ganji import get_item_info
from spider_ganji import urlset
from spider_ganji import urlspideset

#get all urls need to spide:
db_urls = [item['url'] for item in urlset.find()]
#get the urls already spide:
url_has_spide = [item['url'] for item in urlspideset.find()]
x = set(db_urls)
y = set(url_has_spide)
rest_urls = x-y

if __name__ == '__main__':
    pool = Pool()
    pool.map(get_item_info,rest_urls)

这一步用了一点去除已爬页面的技巧：首先是爬的过程中将已爬取url记录下来（也可以存储在所爬信息库中），如果出现中断，用所有需爬取 剔除 已爬取，即可规避重复爬取问题。
（关于剔重、规避中断过程中出现的问题，应该还有更好的解决方案：先记录异常页面、跳过、继续爬，最后再处理异常页面应该更合适？）

3.总结

大道至简，问题的解决方案应该是简洁的，大规模的数据爬取也是一样：难点并不在于某几个页面怎么爬，而在于过程上的控制和调度：调度过程越清晰，实现起来越容易，实现过程中多翻翻文档就好了（虽然我也觉得文档看起来累，不过确实还得翻，就跟认字时翻字典一样——现在只需要翻“电子词典”已经很方便了！）