初级python爬虫实战二——爬取迁木网大学信息

1 基础版本

1.1 预备 && 思路

• 进入迁木网排名页面

  
  迁木网排名页面

• 获取每个学校的具体信息
  依次点击学校名称下的链接，进入详情页。以麻省理工大学为例：

  
  麻省理工大学

• 爬虫爬取页面中表格信息

1.2 代码实现

思路不难，和昨天的爬虫类似，主要还是xpath的使用。实现过程中遇到了两个小问题。

1. 部分表格的左侧或右侧有多行文字。直接用‘......//text()’会导致报错：out of range。解决办法是以行、列查找，再按照行列复制给key, value。

    rows = selector.xpath('//*[@id="wikiContent"]/div[1]//td[1]')
    cols = selector.xpath('//*[@id="wikiContent"]/div[1]//td[2]')

    keys = []
    values = []
    print(data['name'])
    for row in rows:
        keys.append(' '.join(row.xpath('.//text()')))

    for col in cols:
        values.append(' '.join(col.xpath('.//text()')))

2. 解决第一个问题之后，出现了第二个问题，即部分学校左边多个但云哥对应右边一个合并单元格。在不破坏1中逻辑的前提下，我只能选择丢弃这一小部分学校。

麦吉尔大学

 if len(keys) != len(values):
        continue

贴出完整代码：

import requests
from lxml import etree

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' \
     'AppleWebKit/537.36 (KHTML, like Gecko) ' \
     'Chrome/80.0.3987.116 Safari/537.36'
headers = {'User-Agent': ua}
r = requests.get("http://www.qianmu.org/ranking/1528.htm", headers=headers)

# 访问迁木网首页，提取出排名首页的大学链接
et = etree.HTML(r.text)
links = et.xpath('//*[@id="page-wrapper"]/div/div[2]/div/div/div/div[2]/div/div[5]/table//td[2]//@href')

university = []
# 依次从大学链接中获取大学的具体信息
for link in links:
    resp = requests.get(link, headers=headers)
    selector = etree.HTML(resp.text)
    data = {}
    data['name'] = selector.xpath('//*[@id="wikiContent"]/h1/text()')[0]

    rows = selector.xpath('//*[@id="wikiContent"]/div[1]//td[1]')
    cols = selector.xpath('//*[@id="wikiContent"]/div[1]//td[2]')

    keys = []
    values = []
    print(data['name'])
    for row in rows:
        keys.append(' '.join(row.xpath('.//text()')))

    for col in cols:
        values.append(' '.join(col.xpath('.//text()')))

    if len(keys) != len(values):
        continue
    for i in range(len(keys)):
        data[keys[i]] = values[i]
    university.append(data)

print(university)

基础版本结束~

2 多线程版本

基础版本虽然能够实现基本的功能，但是还是存在一个很严重的问题：太慢了。这对一只小爬虫来说无疑是致命的。所以来升级一下这只小爬虫。

2.1 重构代码

基础班的代码有点丑，而且不符合模块化编程的思想。在引入多线程之前，先对丑代码进行一下重构。

简化代码：

• cols rows的处理

#   处理之前
    for row in rows:
        keys.append(' '.join(row.xpath('.//text()')))

    for col in cols:
        values.append(' '.join(col.xpath('.//text()')))

#   处理之后
    keys = [' '.join(row.xpath('.//text()')) for row in rows]
    values = [' '.join(col.xpath('.//text()')) for col in cols]

2.2 多线程处理

这一块理解不深刻，多写几个例子

import time
import threading
from queue import Queue
import requests
from lxml import etree

start_url = 'http://www.qianmu.org/ranking/1528.html'
links_queue = Queue()
threads = []
thread_num = 100
page_num = 0


# 网络连接，返回response
def step_net(url):
    ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' \
         'AppleWebKit/537.36 (KHTML, like Gecko) ' \
         'Chrome/80.0.3987.116 Safari/537.36'
    headers = {'User-Agent': ua}
    resp = requests.get(url, headers=headers)
    return resp.text.replace('\t', '')


def link_handle():
    et = etree.HTML(step_net(start_url))
    links = et.xpath('//*[@id="page-wrapper"]/div/div[2]/div/div/div/div[2]/div/div[5]/table//td[2]//@href')
    for link in links:
        # 将所有链接存入队列
        links_queue.put(link)


def parse_university(link):
    # link = links_queue.get()
    resp = step_net(link)
    selector = etree.HTML(resp)
    data['name'] = selector.xpath('//*[@id="wikiContent"]/h1/text()')[0]
    rows = selector.xpath('//*[@id="wikiContent"]/div[1]//td[1]')
    cols = selector.xpath('//*[@id="wikiContent"]/div[1]//td[2]')
    keys = [' '.join(row.xpath('.//text()')) for row in rows]
    values = [' '.join(col.xpath('.//text()')) for col in cols]
    data.update(zip(keys, values))
    return data


def process_data(data):
    if data:
        print(data['name'])
        print(data)


def download():
    while True:
        link = links_queue.get()
        if link is None:
            break
        data = parse_university(link)
        process_data(data)
        global page_num
        page_num += 1
        links_queue.task_done()
        print("剩余未下载内容：%s,当前线程数：%s, threads线程池长度：%s" % (links_queue.qsize(),
                                                        len(threading.enumerate()),
                                                        len(threads)))

    pass


if __name__ == '__main__':
    data = {}
    start_time = time.time()
    link_handle()
    for i in range(thread_num):
        t = threading.Thread(target=download)
        t.start()
        threads.append(t)

    # 阻塞队列直到所有队列被清空
    links_queue.join()
    # 向队列发送N个none以通知线程退出。
    for i in range(thread_num):
        links_queue.put(None)
    # 退出线程
    for t in threads:
        t.join()
    lasted = time.time() - start_time
    print("下载了%s个页面，花费%s秒钟" % (page_num, lasted))