urllib库常用方法使用详解

2020-04-04 本文已影响0人忘了呼吸的那只猫

urlopen函数：

urlopen函数可以向一个网址发送请求，并返回一个response对象
urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None)
返回对象response的参数：headers,version,status,reason,chunked,chunk_left,length

代码：爬取百度首页

from urllib import request
resp = request.urlopen('http://www.baidu.com')
print(resp.read())

urlretrieve函数：

这个函数可以方便的将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地：

from urllib import request
request.urlretrieve('http://www.baidu.com/','baidu.html')

urlencode函数：

用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动的给我们进行编码。而如果使用代码发送请求，那么就必须手动的进行编码，这时候就应该使用urlencode函数来实现。urlencode可以把字典数据转换为URL编码的数据。示例代码如下：

from urllib import parse
data = {'name':'中国人','greet':'hello world','age':100}
qs = parse.urlencode(data)
print(qs)
#结果：name=%E4%B8%AD%E5%9B%BD%E4%BA%BA&greet=hello+world&age=100

parse_qs函数：

可以将经过编码后的url参数进行解码。示例代码如下：

from urllib import parse
qs = "name=%E4%B8%AD%E5%9B%BD%E4%BA%BA&greet=hello+world&age=100"
print(parse.parse_qs(qs))
#结果：{'name': ['中国人'], 'greet': ['hello world'], 'age': ['100']}

quote和unquote函数也可以对url进行编码和解码

# 编码
url1 = "https://www.baidu.com/s?wd=中国"
# utf8编码，指定安全字符
ret1 = quote(url1, safe=";/?:@&=+$,", encoding="utf-8")
print(ret1)
#结果： https://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD

# 解码
url3 = "https://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD"
ret3 = unquote(url3, encoding='utf-8')
print(ret3)
# https://www.baidu.com/s?wd=中国

urlparse和urlsplit

有时候拿到一个url，想要对这个url中的各个组成部分进行分割，那么这时候就可以使用urlparse或者是urlsplit来进行分割。示例代码如下：

from urllib import request,parse

url = 'http://www.baidu.com/s?username=zhiliao'

result = parse.urlsplit(url)
# result = parse.urlparse(url)

print('scheme:',result.scheme)
print('netloc:',result.netloc)
print('path:',result.path)
print('query:',result.query)

urlparse和urlsplit基本上是一模一样的。唯一不一样的地方是，urlparse里面多了一个params属性，而urlsplit没有这个params属性。比如有一个url为：url = 'http://www.baidu.com/s;hello?wd=python&username=abc#1'，
那么urlparse可以获取到hello，而urlsplit不可以获取到。url中的params也用得比较少。

构建request request.Request类：

Request参数：
url：网址
data: 请求数据体
headers: 请求头
origin_req_host: 当前IP地址，做爬虫的时候就是通过这个伪装IP
unverifiable: 请求是否是无法验证的,默认为false.
method: 指定请求方法，比如GET,POST,PUT...
如果想要在请求的时候增加一些请求头，那么就必须使用request.Request类来实现。比如要增加一个User-Agent，示例代码如下：

from urllib import request

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}
req = request.Request("http://www.baidu.com/",headers=headers)
resp = request.urlopen(req)
print(resp.read())

Handler /Opener

urllib使用handler来处理这些操作，针对不同的功能，有不同的handler，比如处理cookie,认证，代理等等，所有handler都继承自基类BaseHandler.
HTTPDefaultErrorHandler：处理HTTP错误
HTTPRedirectHandler：处理重定向
HTTPCookieProcessor：处理cookie
ProxyHandler：处理代理
HTTPPasswordMgr：管理密码
HTTPBasicAuthHandler：管理认证
等功能的Handler
handler是处理逻辑的，发送请求我们使用OpenerDirector。我们用OpenerDirector包装handler，然后发送请求到服务器,所以Opener就相当于与一个打开器的功能，只是需要传入Handler来创建OPener。

具体使用方法：

ProxyHandler处理器（代理设置）

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

from urllib import request
#创建Handler
handler = request.ProxyHandler({"http":"218.66.161.88:31769"})
#使用Handler创建打开器Opener
opener = request.build_opener(handler)
req = request.Request("http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

登陆

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError

username = 'username'
password = 'password'
url = 'https://jenkins.labradors.work/login?from=%2F'
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None,url,username,password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)

try:
    result = opener.open(url)
    html = result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

将用户名和密码包装到HTTPPasswordMgrWithDefaultRealm,然后再将HTTPPasswordMgrWithDefaultRealm包装为HTTPBasicAuthHandler,最后通过OpenerDirector发送请求。

使用cookielib库和HTTPCookieProcessor模拟登录：

from urllib import request,parse
from http.cookiejar import CookieJar

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
}

def get_opener():
    cookiejar = CookieJar()
    handler = request.HTTPCookieProcessor(cookiejar)
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    data = {"email": "970138074@qq.com", "password": "pythonspider"}
    data = parse.urlencode(data).encode('utf-8')
    login_url = "http://www.renren.com/PLogin.do"
    req = request.Request(login_url, headers=headers, data=data)
    opener.open(req)

def visit_profile(opener):
    url = 'http://www.renren.com/880151247/profile'
    req = request.Request(url,headers=headers)
    resp = opener.open(req)
    with open('renren.html','w') as fp:
        fp.write(resp.read().decode("utf-8"))

if __name__ == '__main__':
    opener = get_opener()
    login_renren(opener)
    visit_profile(opener)