Python异步加载爬虫，护士私密照源源不断，Ajax抓取速度惊
2018-07-17 本文已影响342人
Python新世界
利用aiohttp这个库来进行异步协程提速！
如果Python爬虫不仅在代码编写上展现速度，而且在爬取过程中表现出优越感，最好的就是去下载图片吧，而下载图片最好的代表当然是......我就不多说了。
Python异步加载爬虫，护士私照源源不断，Ajax抓取速度惊人！
尝试使用异步以及不使用异步的速度差距
广告.png
Python异步加载爬虫，护士私照源源不断，Ajax抓取速度惊人！
右边是使用异步的，左边是没有使用异步的，大概是六倍的差距。
分析下怎样里用Python爬取
1.找目标网页
网站首页有一堆图片，往下拉时还会自动刷新，很明显是个ajax动态加载，首先打开开发者工具看下是怎样的请求。
往下拉的时候可以看到这个请求是一个get请求
Python异步加载爬虫，护士私照源源不断，Ajax抓取速度惊人！
这个参数是变化的，其他的参数都是不变的。
2.代码部分
Python异步加载爬虫，护士私照源源不断，Ajax抓取速度惊人！
这个是获取图片的内容的方法
下面是完整代码
Python异步加载爬虫，护士私照源源不断，Ajax抓取速度惊人！
python代码的优势体现的玲离尽致，不超过50行的Python代码即可下载整站图片。
