用python写爬虫--6.异步aiohttp

我自己用requests模块写爬虫已经能满足我爬信息的需求了，一直不太明白scrapy的用处，直到我看到教程中的例子，十有八九都是爬取一系列的网址，比如‘什么值得买’的前10页啊，更普遍的是根据一个目录页，爬取里面的各个信息。
但是scrapy还是有些个麻烦啊，然后我知道了异步aiohttp。
aiohttp是在异步模块asyncio升级专门做网页连接的模块，分服务器端和客户端，我看的是客户端，替代requests模块。
异步我的理解是，在连接网页的时候会等待，在需要等待的时间就标记一下，然后去干下一件事情。标记一下是await。
根据官方文档(http://aiohttp.readthedocs.io/en/stable/index.html#aiohttp-installation)的说明，基本用法是

import aiohttp
import asyncio
import async_timeout

async def fetch(session, url):  #定义对每个网页要干的事情
    async with async_timeout.timeout(10):
        async with session.get(url) as response:
            return await response.text()  #因为要等网页连接，所以await

async def main():#定义要对哪些网页要做
    async with aiohttp.ClientSession() as session:
        #urls =[url1,url2,url3....] 定义要做的多个网页列表
        #for循环以下事。
        html = await fetch(session, 'http://python.org')
        print(html)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

基本结构是：
1.定义单个网页要做的事fetch
2.在main中，定义多个网页，然后用循环对每一个网址调用fetch
3.调用main()
其中，遇到需等待网页反应，或者包含这个动作如await fetch，就在前面加await

async def是标记这是一个异步的模块，
async with session.get(url) as response:这是关闭session的好习惯。
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
这是调用异步程序的步骤，什么意思，额，这是属于asyncio模块，我的理解是不是遇到要打开网页的时候就放那，干下一件事么，那就必然要再回来处理打开完网页之后的事情，这就是一个循环--asyncio.get_event_loop()，第二句根据字面意思就更好理解了，把所有的程序运行完。

有了理解之后，套用我们要做的事情就变成这样。

import aiohttp
import asyncio
import async_timeout
from pyquery import PyQuery as pq


async def fetch(session, url):
    head = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}
    with async_timeout.timeout(10):
        async with session.get(url, headers=head) as response:
            html = await response.text()
            file = pq(html)
            return file('.feed-ver-title').eq(0).text()


async def main():
    urls = ['https://faxian.smzdm.com/p{}'.format(i) for i in range(2, 11)]
    async with aiohttp.ClientSession() as session:
        for url in urls:
            html = await fetch(session, url)
            print(html)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

结果是：

image.png

看到得到了每一页第一项，一共9项，跟2-10一样多。