爬虫专题python爬虫python学习

Python爬虫初接触,学会爬虫不抓美女图片干啥!

2018-06-13  本文已影响59人  云飞学编程

学习编程语言是很枯燥的,尤其是对一个编程零基础的人来说,更为枯燥!所以我们要从枯燥的学习中找点乐趣和动力!比如,抓点小姐姐的图片

我们的目标选择唯一图库,url自己去找【人工呲牙笑】

这个网站没有反爬,特别好爬,打开主页后,找到美女图片分类

上面分类没有这个分类,自己想办法进入哦。。。

然后往下拉,就会发现N多的图集,我们先去找找翻页,记得先打开F12开发者工具,然后选择翻页,查看源代码中位置!

可以看到这里就是控制页面翻页的源代码了,我们直接拿到a标签的href属性,这个是最后一页的地址,将属性中的“789”切出来,就拿到了最大页码,然后循环拿到所有页面的url,如下图

这样就拿到所有页面的url了,然后#我们取图集的url,同样的方式,找到源码中url的位置

img_urls = etree.HTML(requests.get(url_i).text).xpath('//div[@class="ABox"]/a/@href')#url_i 是页面的url,也就是上个代码截图中那个列表,循环遍历出来的

一行代码就取到了所有a标签下的图集地址,一页有24个图集!这里我们用一个函数来获取所有图集内图片地址并返回图集名字和图片地址

这样,主要内容就写完了,然后就是构建整个代码,写入本地,我还将之前做的进度条也加进去了,整体代码和效果发出来看看!

python裙542-110-721

其实这里我想说的是,整个网站很标题党。。。完全不符合标题的。

上一篇下一篇

猜你喜欢

热点阅读