爬虫精进(十一) ------ 协程案例

需求 :用多协程爬取薄荷网11个常见食物分类里的食物信息（包含食物名、热量、食物详情页面链接）。

分析过程:

一.判断要爬取的内容在哪里

我们能在Response里找到食物的信息，说明我们想要的数据存在HTML里。再看第0个请求1的Headers，可以发现薄荷网的网页请求方式是get。知道了请求方式是get，我们就知道可以用requests.get()获取数据。

二.分析网址结构

1.分析类别不同网址的规律

先关闭“检查”工具。我们接着来观察，每个常见食物分类的网址和每一页食物的网址有何规律。

果然，常见食物分类的网址构造是有规律的。前10个常见食物分类的网址都是：http://www.boohee.com/food/group/+数字
唯独最后一个常见食物分类【菜肴】的网址与其他不同，是：http://www.boohee.com/food/view_menu

2.分析分页不同时网址的规律

原来?page=数字真的是代表页数的意思。只要改变page后面的数字，就能实现翻页。
基于我们上面的观察，可以得出薄荷网每个食物类别的每一页食物记录的网址规律——

三.弄清楚HTML的结构

前面我们知道薄荷网的食物热量的数据都存在HTML里，所以等下就可以用BeautifulSoup模块来解析。

你把鼠标接着移到食物上，你就会发现：原来每个食物的信息都被分别藏在了一个<li class="item clearfix">…</li>标签里。每页食物记录里有10个食物，刚好对应上网页源代码里的10个<li class="item clearfix">…</li>标签。
这么看来的话，我们用find_all/find就能提取出<li class="item clearfix">…</li>标签下的食物详情链接、名称和热量。

最终代码为:

from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue

work = Queue()
url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'
for x in range(1, 4):
    for y in range(1, 4):
        real_url = url_1.format(type=x, page=y)
        work.put_nowait(real_url)

url_2 = 'http://www.boohee.com/food/view_menu?page={page}'
for x in range(1,4):
    real_url = url_2.format(page=x)
    work.put_nowait(real_url)

def crawler():
    headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
    }
    while not work.empty():
        url = work.get_nowait()
        res = requests.get(url, headers=headers)
        bs_res = bs4.BeautifulSoup(res.text, 'html.parser')
        foods = bs_res.find_all('li', class_='item clearfix')
        for food in foods:
            food_name = food.find_all('a')[1]['title']
            food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
            food_calorie = food.find('p').text
            writer.writerow([food_name, food_calorie, food_url])
            #借助writerow()函数，把提取到的数据：食物名称、食物热量、食物详情链接，写入csv文件。
            print(food_name)

csv_file= open('boohee.csv', 'w', newline='')
#调用open()函数打开csv文件，传入参数：文件名“boohee.csv”、写入模式“w”、newline=''。
writer = csv.writer(csv_file)
# 用csv.writer()函数创建一个writer对象。
writer.writerow(['食物', '热量', '链接'])
#借助writerow()函数往csv文件里写入文字：食物、热量、链接

tasks_list = []
for x in range(5):
    task = gevent.spawn(crawler)
    tasks_list.append(task)
gevent.joinall(tasks_list)

练习 :请使用多协程和队列，爬取时光网电视剧TOP100的数据（剧名、导演、主演和简介）

import  gevent,requests,bs4,csv
from gevent.queue import Queue
from gevent import monkey
#monkey.patch_all()

work = Queue()
url = 'http://www.mtime.com/top/tv/top100/index-{page}.html'
work.put_nowait('http://www.mtime.com/top/tv/top100/')

for i in range(2,11):
    work.put_nowait(url.format(page=i))

csv_file = open('movies.csv','w',newline="")
writer = csv.writer(csv_file)
writer.writerow(['序号','剧名','导演','主演','简介'])

def crawler():
    while not work.empty():
        realurl = work.get_nowait()
        res = requests.get(realurl)
        bf = bs4.BeautifulSoup(res.text,'html.parser')
        movesUL = bf.find('ul',id='asyncRatingRegion').find_all('li')
        for one in movesUL:
            index = one.find('em').text
            mov_con = one.find('div',class_='mov_con')
            mov_A = mov_con.find_all('a')
            if len(mov_A) > 1 :
               mov_name = mov_A[0].text
            if len(mov_A) > 2 :
                mov_director = mov_A[1].text
            if len(mov_A) > 3 :
                mov_mainactor = mov_A[2].text
            mov_detail = one.find('p',class_ = 'mt3')
            writer.writerow([index,mov_name,mov_director,mov_mainactor,mov_detail])

taskList =[]
for x in range(2):
    task = gevent.spawn(crawler)
    taskList.append(task)

gevent.joinall(taskList)