Requests 快速入门

Requests是python的一个HTTP客户端库，跟python内置的urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的：

python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。

废话不多说，直接开始。
如果你还没用安装的话，你需要先安装，我的Mac系统使用pip3 install requests，其他系统请自行百度。
安装之后我们看下几个常用的方法，体验一下Requests的方便之处。

一、发送请求

1、发送一个get请求

import requests

response = requests.get('https://book.douban.com/')

2、发送一个post请求

import requests

r = requests.post('http://httpbin.org/post', data = {'key':'value'})

3、发送其他 HTTP 请求类型：PUT，DELETE，HEAD 以及 OPTIONS

>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')

4、在url里构建传递参数，例如，http://bin.org/get?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数
举个栗子:

payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)

通过打印输出该 URL，你能看到 URL 已被正确编码：
print(r.url)
>>> http://httpbin.org/get?key2=value2&key1=value1

还可以将一个列表作为值传入
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}

>>> r = requests.get('http://httpbin.org/get', params=payload)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

二、获取响应内容

requests发送请求之后返回一个Respone对象,我们可以从Respone对象中获取像status_code、url、encoding、text、content、json、raw、headers、cookies、raw、

import requests

response = requests.get('https://book.douban.com/')
print(response)
>>> <Response [200]>

key	对应内容
status_code	状态码,
url	经request构建之后的url, 通过 r.url获得
encoding	获取响应内容的编码方式，通过 r.encoding获得，我们还可以设置编码方式r.encoding = 'utf-8'
text	响应的文本形式内容，通过 r.text获得
content	响应的二进制形式内容,比如图片、音视频等，可以把图片写入本地进行存储，通过 r.content获得
json	响应的json形式内容,通过r.json()获取
raw	响应的原始内容
headers	请求头内容
cookies	cookies内容，栗子: r.cookies['example_cookie_name']
request.headers	请求头内容，通过r.request.headers获取
headers	响应头内容, 通过r.headers获取，注意和请求头区分
.....	未完待续...

三、定制特殊参数

我们还可以在发送请求时进行一些特殊配置，比如配置请求头的user-agent 、cookies 等内容，也可以设置超时时间timeout，配置代理proxies，由于大部分网站都有反爬措施，这些设置在进行爬虫操作时就显得很重要了。

1、定制请求头headers。

伪装请求头部是爬虫(采集)时经常用的

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload)
 print( r.request.headers['User-Agent']) #打印
>>> python-requests/2.18.4  #此处打印的内容为request自带的'User-Agent'，可能会被网站限制，下面我们伪装为浏览器访问

headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
print(r.request.headers['User-Agent'])
>>> Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36

2、代理访问。

采集时为避免被封IP，经常会使用代理。requests也有相应的proxies属性。

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}
requests.get("http://www.zhidaow.com", proxies=proxies)

如果代理需要账户和密码，则需这样：
proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

3、设置超时时间

requests.get('http://github.com', timeout=10)

4、设置cookies

又一个栗子走起:

发送一个含有代理ip和带参数的post请求，然后打印出返回内容，

proxies = {
  "http": 'http://101.236.23.202:8866',
  "https": 'https://221.1.205.74:8060',
}
data = {
    'name':'jack',
    'age':'23'
    }
r = requests.post("http://httpbin.org/post", proxies=proxies, data=data)
print(r.text)
结果看下面截图

22222.png