大神牛刀小试,爬取海量头条妹子图!
2018-12-17 本文已影响1人
山禾家的猫
首先需要安装的Python库:
requests
urllib
直接pip安装就好了
接着我们在网页上打开今日头条,在搜索栏搜索“街拍”
因为这里面的小姐姐多,漂亮
之后,我们选择“network”标签,按F5刷新,就能找到类型“Type”是“xhr”的,这是一个Ajax请求。Ajax的全称是“Asynchronous JavaScript and XML”,即异步的‘JavaScript ’和‘XML’。
原理是:利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。
点击“Type”为“xhr”的Ajax请求的name,再选择“Preview”标签,我们就可以看到下图的数据了,这是浏览器向服务器请求的 json数据,将data展开可以我们就看到了
接下来我们展开‘data’,再点开一个,比如‘0’,找到里面的‘image_list’展开,这四个URL就是网页上的四张缩略图的URL。
看看效果:
好了,不多说了 !直接上代码。
最后还是要推荐下小编的Python学习群: 735934841 ,不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2018最新的Python和0基础入门教程,欢迎初学和进阶中的小伙伴。
每天晚上20:00都会开直播给大家分享Python知识和路线方法,群里会不定期更新最新的教程和学习方法(进群送2018Python学习教程),大家都是学习Python的,或是转行,或是大学生,还有工作中想提升自己能力的Python党,如果你是正在学习Python的小伙伴可以加入学习。最后祝所有程序员都能够走上人生巅峰,让代码将梦想照进现实,非常适合新手学习,有不懂的问题可以随时问我,工作不忙的时候希望可以给大家解惑。