python3爬虫演练-糗事百科
2016-07-29 本文已影响429人
这是朕的江山
今天的想的是加强一下python3爬虫的技巧，以爬糗事百科的段子作为练习目标，以下是爬虫经历。
1.导包
主要导两类包，一个是网络请求包urllib，另一个是正则表达式包re
import urllib.request,urllib.error
import re
2.构建url
我要爬的是糗事百科的24小时里的段子，它的网址是
于是我的url构成如下，pageNum表示页数
url='http://www.qiushibaike.com/hot/page/' + str(pageNum)
3.增加报头，伪装浏览器
如果不加报头直接抓取源代码似乎会报错，所以我伪装了一下，打开chrome进入糗事百科，再右键打开检查->network->request headers，
把User-Agent复制了
user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'
Headers={'User-Agent':user_agent}
请求报头
4.构建正则表达式
这是核心的地方，我一开始写的时候每一个标签都去匹配，然后正则表达式写得很长很长，最后还不知哪里错了打印不出结果，后来请教了别人写正则表达式的方法，发现只需要匹配核心的标签即可，其他无关的标签一律用.*?匹配。
先看看我要抓取的内容吧
一条糗事百科的段子
像上图这样就是一条段子，由于图片不可能显示，所以即使是有图片的段子我也只显示文字，那么我要匹配的内容有：用户的名字，段子的内容，“好笑”前面的数字，“好笑”这两个字，“评论”前面的数字，“评论”这两个字
那么我就要在源代码中找到这些内容，通过查看源代码发现，一个段子的代码是下面这种格式
<div class="article block untagged mb15" id='qiushi_tag_117121225'>
<div class="author clearfix">
<a href="/users/30591370/" target="_blank" rel="nofollow">
</a>
<a href="/users/30591370/" target="_blank" title="逆风的单车">
<h2>逆风的单车</h2>
</a>
</div>
<div class="content">
小时候喜欢摸堂弟头，喊他小不点，如今当兵回来的他，喜欢摸着我的头，喊我“老 部（不）长”，还特么时不时的摔我一跤！！！
</div>
<div class="stats">
<span class="stats-vote"><i class="number">3760</i> 好笑</span>
<span class="stats-comments">
<span class="dash"> · </span>
<a href="/article/117121225" data-share="/article/117121225" id="c-117121225" class="qiushi_comments" target="_blank">
<i class="number">32</i> 评论
</a>
</span>
</div>
我们要的东西的位置一目了然，首先是用户的名字：
<h2>逆风的单车</h2>
然后是段子的内容：
<div class="content">
小时候喜欢摸堂弟头，喊他小不点，如今当兵回来的他，喜欢摸着我的头，喊我“老 部（不）长”，还特么时不时的摔我一跤！！！
</div>
接着是“好笑”
<span class="stats-vote"><i class="number">3760</i> 好笑</span>
最后是评论
<a href="/article/117121225" data-share="/article/117121225" id="c-117121225" class="qiushi_comments" target="_blank">
<i class="number">32</i> 评论</a>
所以我们可以写出正则表达式
pattern=re.compile('<h2>(.*?)</h2>.*?<div class="content">(.*?)</div>.*?<i class="number">(.*?)</i> (.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',re.S)
注：因为是顺序匹配，所以“好笑”和评论只需要用<i class="number">匹配就好，其他杂七杂八的东西一律用.*?代替
5.写出请求
剩下的就是使用urllib来抓取源代码匹配后输出了
try:
request=urllib.request.Request(url,headers=Headers)
response=urllib.request.urlopen(request).read().decode('utf-8')
items=re.findall(pattern,response)# for item in items:
print(item[0],item[1],item[2],item[3],item[4],item[5])
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
完整的代码是
import urllib.request,urllib.error
import re
pageNum=1
url='http://www.qiushibaike.com/hot/page/' + str(pageNum)
user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36' Headers={'User-Agent':user_agent}
pattern=re.compile('<h2>(.*?)</h2>.*?<div class="content">(.*?)</div>.*?<i class="number">(.*?)</i> (.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',re.S)
try:
request=urllib.request.Request(url,headers=Headers)
response=urllib.request.urlopen(request).read().decode('utf-8')
items=re.findall(pattern,response)
for item in items:
print(item[0],item[1],item[2],item[3],item[4],item[5])
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
这样就能抓到啦。
