全栈 - 8 爬虫 使用urllib2获取数据
这是全栈数据工程师养成攻略系列教程的第八期:8 爬虫 使用urllib2获取数据。
我们知道,Http请求主要有GET和POST两种。对于一个url,既可以使用浏览器去访问,也可以使用代码去请求。
Urllib2
我们主要使用的是Python2.7中的urllib2,官方文档在这里:https://docs.python.org/2/library/urllib2.html。如果闲官方文档太长太啰嗦,就跟着我一起操作吧~
GET请求
以 http://kaoshi.edu.sina.com.cn/college/scorelist?tab=batch&wl=1&local=2&batch=&syear=2013 为例,我们来实践下,如何发起GET请求,主要代码如下,所返回的 result
中即包含了网页的内容。
# 导入需要的库
import urllib2
import urllib
# 定义一个字符串变量,保存要访问的链接
url = 'http://kaoshi.edu.sina.com.cn/college/scorelist?tab=batch&wl=1&local=2&batch=&syear=2013'
# 发起请求
request = urllib2.Request(url=url)
# 打开连接
response = urllib2.urlopen(request, timeout=20)
# 读取返回内容
result = response.read()
POST请求
以 http://shuju.wdzj.com/plat-info-target.html 为例,我们来实践下,如何发起POST请求,主要代码如下,所返回的 result
中即包含了请求的数据。
# 导入需要的库
import urllib2
import urllib
# 定义一个字符串变量,保存要访问的链接
url = 'http://shuju.wdzj.com/plat-info-target.html'
# 将参数进行编码,以字典形式组织参数
data = urllib.urlencode({
'target1': 19,
'target2': 20,
'type': 1,
'wdzjPlatId': 59
})
# 发起请求
request = urllib2.Request(url)
# 建立一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
# 打开连接
response = opener.open(request, data)
# 读取返回内容
result = response.read()
处理返回结果
url主要有Html和API两类,前者以字符串形式返回经渲染后的复杂页面,后者同样以字符串形式返回json格式数据,因此我们需要对读取的 result
采取不同的处理方法。
Html
当返回结果是Html页面的文本内容时,需要借助一些工具进行解析,将纯文本转为结构化的Html对象。最常用的工具是 BeautifulSoup
,它也是一个Python中的一个包,提供了解析Html文本、查找和选择Html元素、提取元素内容和属性等功能。考虑到BeautifulSoup的使用涉及到html和css等内容,我们先跳过这一块,等后面介绍了相关基础再回过头来讲解。
API
当返回结果是json格式的字符串时,可以使用Python中的 json
模块,方便地将json字符串加载为Python中的字典,再进行后续处理。
import json
# result是刚才读取的返回结果,是一个json格式的字符串
result = json.loads(result)
# result现在是一个字典了
print type(result)
视频链接:使用urllib2获取数据