二、urllib和urllib3

2019-02-09 本文已影响0人梦捷者

1、urllib库

1.1 4个模块

urllib 是一个用来处理网络请求的python标准库，它包含4个模块。

（1 ）urllib.requests---------请求模块，用于发起网络请求

（2）urllib.parse---------解析模块，用于解析URL

（3）urllib.error---------异常处理模块，用于处理request引起的异常

（4）urllib.robotparse--------用于解析robots.txt文件

1.2 urllib.request模块

request模块主要负责构造和发起网络请求，并在其中添加Headers，Proxy等。利用它可以模拟浏览器的请求发起过程。

主要步骤如下：

（1）发起网络请求

（2）添加Headers

（3）操作cookie

（4）使用代理

1.2.1 urlopen方法

urllib.request.urlopen(url, data=None,timeout=None,capath=None, cadefault=False, context=None)

urlopen是一个简单发送网络请求的方法。它接收一个字符串格式的url，它会向传入的url发送网络请求，然后返回结果。

urlopen默认会发送get请求，当传入data参数时，则会发起POST请求。data参数是字节类型、者类文件对象或可迭代对象。

还才可以设置超时，如果请求超过设置时间，则抛出异常。timeout没有指定则用系统默认设置，timeout只对，http，https以及ftp连接起作用。它以秒为单位，比如可以设置timeout=0.1 超时时间为0.1秒。

1.2.2Request对象

利用openurl可以发起最基本的请求，但这几个简单的参数不足以构建一个完整的请求，可以利用更强大的Request对象来构建更加完整的请求。

（1）请求头添加

通过urllib发送的请求会有一个默认的Headers: “User-Agent”:“Python-urllib/3.6”，指明请求是由urllib发送的。所以遇到一些验证User-Agent的网站时，需要我们自定义Headers把自己伪装起来。

(2) 操作cookie

在开发爬虫过程中，对cookie的处理非常重要，urllib的cookie的处理如下案例：

(3) 设置代理

运行爬虫的时候，经常会出现被封IP的情况，这时我们就需要使用ip代理来处理，urllib的IP代理的设置如下：

1.2.3 Response对象

urlib库中的类或或者方法，在发送网络请求后，都会返回一个urllib.response的对象。它包含了请求回来的数据结果。它包含了一些属性和方法，供我们处理返回的结果。

(1) read() 获取响应返回的数据，只能用一次

(2) readline() 读取一行

(3) info() 获取响应头信息

(4) geturl() 获取访问的url

(5) getcode() 返回状态码

1.3 urllib.parse模块

parse模块是一个工具模块，提供了需要对url处理的方法，用于解析url。

1.3.1 parse.quote()

url中只能包含ascii字符，在实际操作过程中，get请求通过url传递的参数中会有大量的特殊字符，例如汉字，那么就需要进行url编码。

例如https://baike.baidu.com/item/URL编码/3703727?fr=aladdin

我们需要将编码进行url编码

运行结果：

利用parse.unquote()可以反编码回来。

1.3.2 parse.urlencode()

在发送请求的时候，往往会需要传递很多的参数，如果用字符串方法去拼接会比较麻烦，parse.urlencode()方法就是用来拼接url参数的。

运行结果：

也可以通过parse.parse_qs()方法将它转回字典

运行结果：

1.4 urllib.error模块

error模块主要负责处理异常，如果请求出现错误，我们可以用error模块进行处理

主要包含URLError和HTTPError。

（1）URLError：是error异常模块的基类，由request模块产生的异常都可以用这个类来处理。

（2）HTTPError：是URLError的子类，主要包含三个属性：

1.5 urllib.robotparse模块

robotparse模块主要负责处理爬虫协议文件，robots.txt.的解析。

https://www.taobao.com/robots.txt

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 [1] 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。