python学习 二 05 爬一个图片网站-下载图片链接
2018-01-04 本文已影响0人
古典小说
python自我学习 二 05 爬一个图片网站-下载图片链接
讨厌编程 2018-01-04 21:21
python学习 二 02 爬一个图片网站，获得主链接网址，并保存
python学习 二 03 爬一个图片网站-获得所有分页网址
python学习 二 04 爬一个图片网站-解析文件，获得所有图片链接
下载图片链接
本节的主要任务是下载文件中获得的图片链接
为此我写了个函数
def downImg(httpPath,localPath):
实测中，考虑到有些链接不存在，有些链接超时，有些链接其它错误，所以一次下载不了，多次尝试。
而且使用request.urlretrieve(httpPath,localPath) 直接下载时，出现出现10060错误，于是使用request.urlopen(httpPath,timeout=60)，然后以读的方式进行下载。
我这的目录结构是这样的
第一步，读取所有的子文件夹
第二步，读取子文件夹下的img.txt
第三步，下载img.txt中的链接
为此，我又写了下面的函数
DownThumbnail 是下载缩略图，因为这个网站上，目前或的的这些链接对应的是缩略图。
运行后，就会发现，可以下载了
目前是单线程方式下载的缩略图
下一节介绍下多线程方式，下载高清图
