全栈 - 8 爬虫 使用urllib2获取数据

这是全栈数据工程师养成攻略系列教程的第八期：8 爬虫 使用urllib2获取数据。

我们知道，Http请求主要有GET和POST两种。对于一个url，既可以使用浏览器去访问，也可以使用代码去请求。

Urllib2

我们主要使用的是Python2.7中的urllib2，官方文档在这里：https://docs.python.org/2/library/urllib2.html。如果闲官方文档太长太啰嗦，就跟着我一起操作吧～

GET请求

以 http://kaoshi.edu.sina.com.cn/college/scorelist?tab=batch&wl=1&local=2&batch=&syear=2013 为例，我们来实践下，如何发起GET请求，主要代码如下，所返回的 result 中即包含了网页的内容。

# 导入需要的库
import urllib2
import urllib

# 定义一个字符串变量，保存要访问的链接
url = 'http://kaoshi.edu.sina.com.cn/college/scorelist?tab=batch&wl=1&local=2&batch=&syear=2013'
# 发起请求
request = urllib2.Request(url=url)
# 打开连接
response = urllib2.urlopen(request, timeout=20)
# 读取返回内容
result = response.read()

POST请求

以 http://shuju.wdzj.com/plat-info-target.html 为例，我们来实践下，如何发起POST请求，主要代码如下，所返回的 result 中即包含了请求的数据。

# 导入需要的库
import urllib2
import urllib

# 定义一个字符串变量，保存要访问的链接
url = 'http://shuju.wdzj.com/plat-info-target.html'

# 将参数进行编码，以字典形式组织参数
data = urllib.urlencode({
    'target1': 19, 
    'target2': 20, 
    'type': 1, 
    'wdzjPlatId': 59
    })
# 发起请求
request = urllib2.Request(url)
# 建立一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
# 打开连接
response = opener.open(request, data)
# 读取返回内容
result = response.read()

处理返回结果

url主要有Html和API两类，前者以字符串形式返回经渲染后的复杂页面，后者同样以字符串形式返回json格式数据，因此我们需要对读取的 result 采取不同的处理方法。

Html

当返回结果是Html页面的文本内容时，需要借助一些工具进行解析，将纯文本转为结构化的Html对象。最常用的工具是 BeautifulSoup，它也是一个Python中的一个包，提供了解析Html文本、查找和选择Html元素、提取元素内容和属性等功能。考虑到BeautifulSoup的使用涉及到html和css等内容，我们先跳过这一块，等后面介绍了相关基础再回过头来讲解。

API

当返回结果是json格式的字符串时，可以使用Python中的 json 模块，方便地将json字符串加载为Python中的字典，再进行后续处理。

import json
# result是刚才读取的返回结果，是一个json格式的字符串
result = json.loads(result)
# result现在是一个字典了
print type(result)

视频链接：使用urllib2获取数据