Python爬虫:pyspider抓取宅男女神美女图片
2019-07-25 本文已影响33人
9ba4bd5525b9
抓取页面:
https://www.nvshens.com/tag/new/
页面分析:
首页获取所有图片详情页,需要遍历15页

获取得到图片详情页后,需要获取图片集链接

得到图片集链接后,需要获取图片真实地址,需要对所有图片页进行遍历

函数设计:
1. 调用以下2个得到所有详情页的url

2. 调用以下函数得到图片集地址

3. 调用以下函数得到图片真实地址并保存,由于有多页,所以需要回调自身

完整代码

代码地址: https://github.com/copywang/spiders_collection/tree/master/pyspider
抓取效果:
