Python笔记-百度贴吧图片爬虫
概述
近来花了一些时间简单学习了一下python，简而言之：抛弃运行效率因素不说，从编码的角度，其优雅、简洁的语法结构还是值得肯定的。但缺点也很明显，过分简洁的语法结构也使得代码结构出错的可能性相应的增加，相应地也会造成IDE提示以及自动完成功能的削弱。这儿打算写一个简单而有一定实用价值的一个爬虫程序来对近来的学习做一个小小的巩固。
功能分析
功能庞大而简单：下载指定一个百度贴吧的所有图片到本地，并以单个帖子为目录进行分类保存。至于下载哪个贴吧的图片，我觉得你已经开始浮想联翩了。言归正传，接下来我将对实现步骤作详细的分析。这里作个说明，工程基于python3.5版本，什么？你会python2.X？那我们讨论的可能不是一个语言（开个玩笑），至于开发工具，个人觉得PyCharm比较好用，jetbrains的产品系列懂的人自然懂。
实现步骤
思路其实还是很简单明了的：1、获取某个贴吧的所有帖子。2、获取其中一个帖子的所有页内容。3，在帖子内容中找到所有图片。4，下载这些图片到本地相应目录。OK，明确了思路，接下来将以上文字翻译成代码就行了，ps，这里需要一些简单的html与http协议的基本知识。
1、获取某个贴吧的所有帖子
这里我们以NBA吧为例，其首页网址为：
https://tieba.baidu.com/f?kw=NBA&ie=utf-8&pn=0
我们观察一下链接，有两个我们关心的点：kw=NBA、pn=0，这里的kw的值显然是贴吧名称，替换成我们想要的就行了。至于pn的值表示当前页第一条帖子的序号数，第一页的第一条帖子为0，如果每页显示20条帖子，那第二页pn=20，第三页pn=40，依此类推，至于每页显示多少条帖子，我们可以动态获取。
1)获取最终的贴吧地址
#防止出现中文名字贴吧，将NBA修改为指定的贴吧名称
name = urllib.request.quote('NBA')
url = 'https://tieba.baidu.com/f?kw=%s&ie=utf-8&pn=%d'
page_index = 1
finall_url = url % (name, page_index)
然后我们根据根据获得的地址得到网页数据
url_open = my_url_opener().open(finall_url)
data = url_open.read().decode('utf-8')
这里的my_url_opener()是自定义的获取urlopen方法，作用是给http请求头添加一些信息，把我们的爬虫伪装成浏览器请求，防止被百度KO，具体实现可以查看一下源码。通过以上方法，我们得到了data数据，data是包含大量html、css、js的字符数据，如何得到我们想要的帖子超链接地址呢，通过浏览器查看源代码，可以发现其超链接规律如下：
<a href="/p/5144403745" ...
那么这个帖子的地址就为
https://tieba.baidu.com/p/5144403745
如此，我们用正则表达式匹配一下，就可以瞬间得到所有的帖子链接了（这里我们只要超链接的内容，所以用懒惰匹配）
linkre = re.compile('href=\"(/p/.+?)\"')
all_linkers = linkre.findall(data)
2)获得所有的帖子地址
all_linkers的长度也是一页中帖子的数量，接下来我们就可以获得所有页面所有帖子的链接了，同时用deque()队列容器存放所有链接：
link_queue = deque()
total_page = 16
page_size = 0
for i in range(total_page):
finall_url = url % (name, i * page_size)
print('finall_url--->' + finall_url)
url_open = my_url_opener().open(finall_url)
data = url_open.read().decode('utf-8')
linkre = re.compile('href=\"(/p/.+?)\"')
all_linkers = linkre.findall(data)
for link in all_linkers:
detail_link = 'https://tieba.baidu.com' + link
link_queue.append(detail_link)
print('detail_link:' + detail_link)
page_size = len(all_linkers)
OK，我们来打印一下看看得到的地址：
image.png
嗯，好像还不错的样子...
2、获取其中一个帖子的所有页内容
到了这里，离成功又近了一步，但当我们查看具体的帖子时发现帖子又可能是不止一页的，好吧，以上类似工作又要做重新做一遍了，这里我们再看一下帖子地址规律：
首页 https://tieba.baidu.com/p/5144403745
或者 https://tieba.baidu.com/p/5144403745?pn=1
非首页 https://tieba.baidu.com/p/5144403745?pn=2
这里的pn表示页数了，前面贴吧的总页数是可以通过到贴吧查看得到的，这并不会耗费很多时间，但每个帖子有多少页显然不能通过查看来实现了，况且每个帖子页数也各不相同，显然只能通过代码动态获取了。那么如何获取每个帖子的页数呢？通过观察页面发现如果该页面存在下一页的按钮，则本页不是位于尾页，否则是位于尾页，基于这个特点，我们可以让页数循环递增，当发现位于尾页时跳出循环。
#判断该页是否存在下一页
def has_next_page(data):
reg = 'pn=(.*)?">下一页'
reg_comp = re.compile(reg)
return not len(reg_comp.findall(web)) == 0
pn = 1
while True:
if '?' in detail_link:
#地址中已经有了参数
full_detail_link = detail_link + '&pn=%d' % pn
else:
#地址中尚未有参数
full_detail_link = detail_link + '?pn=%d' % pn
print('full_detail_link:' + full_detail_link)
detail_data = my_url_opener().open(full_detail_link).read().decode('utf-8')
if not has_next_page(detail_data):
break
pn += 1
我们观察一下输出情况，
image.png
确实已经得到了帖子每一页的链接了，继续...
3，在帖子内容中找到所有图片。
这一步比较容易，观察一下图片的链接，写出恰当的正则表达式就行了，这里直接给出代码
image_re = re.compile('src=\"(.*?//img.*?/sign=.*?.\\w{3})\"')
all_image_links = image_re.findall(detail_data)
得到图片地址，接下来保存到本地就行啦
4，下载这些图片到本地相应目录
我们想把图片按照帖子为单位，分别存放到对应的文件夹中，这里我们以帖子的地址中的路径编号来存放，来看一下我们之前得到的地址：
https://tieba.baidu.com/p/5144403745
截取后面的一串数字作为文件路径就ok了，
def get_dir(url):
dir_reg = '/(\\d+)'
reg_comp = re.compile(dir_reg)
dirs = reg_comp.findall(url)
#匹配失败返回一个随机数
if len(dirs) == 0:
return 'G:/tiebapic/' + random.randint()
return 'G:/tiebapic/' + dirs[0]
最后保存到对应路径,文件名为数字递增：
pic_total = 0
for image_link in all_image_links:
with open(dir + '/%d.jpg' % pic_total, 'wb') as f:
f.write(urllib.request.urlopen(image_link).read())
print('%d.jpg 保存成功' % pic_total)
pic_total += 1
大功告成，看一下输出日志情况：
image.png
那么结果如何呢，我们到保存的目录下查看：
image.png
哎呦不错。
总结
关于本文：1、下载图片部分：最好用子线程下载，本文为了更好地观察帖子地址与图片的同步关系，没有做相应的多线程处理。2、本文为学习笔记，代码很随意，不具备严谨性。3、文中贴出的代码为了更简洁，省略了处理异常的部分。4、，欢迎一起探讨，代码存放地址：http://121.40.167.237:8080/file/simple_crawl.py
好了，爬哪个贴吧？It's happy time ...
14926748565277494.jpg
