urllib模拟浏览器登录
2017-08-08 本文已影响13人
听城
使用build_opener()修改报头
由于urlopen()不支持一些HTTP的高级功能，所以，我们如果要修改报头，可以使用urllib.request.build_opener()进行，比如，如果要爬取刚才无法爬取的网页，我们可以使用如下代码:
import urllib.request
url = 'https://www.baidu.com/'
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data.decode('utf-8'))
使用add_header()添加报头
我们还可以使用urllib.request.Request()下的add_header()实现浏览器的模拟
import urllib.request
url = 'https://www.baidu.com/'
req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
data = urllib.request.urlopen(req).read()
print(data.decode('utf-8'))
