requests 爬虫系列总结

requests引子

概念：requests是一个很实用的Python HTTP客户端库，我们在写爬虫的时候经常会用到

例：访问百度

res = requests.get('http://www.baidu.com')

print(res.text)

1540136124988.png

1.requests请求方式

• get

  • r = requests.get('https://api.github.com/events')
    

• post

  • r = requests.post('http://httpbin.org/post', data = {'key':'value'})
    

• put

  • r = requests.put('http://httpbin.org/put', data = {'key':'value'})
    

• delete

  • r = requests.delete('http://httpbin.org/delete')
    

• head

  • r = requests.head('http://httpbin.org/get')
    

• option

  • r = requests.options('http://httpbin.org/get')
    

2.requests携带参数

• params

  • 一般常用于get请求，用于 URL 的查询字符串，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面, 使用&连接

  • 例如：http://shuidi.cn/b-search?key=%E7%9F%A5%E4%B9%8E

    第一种直接构建url:

  1540136921619.png

第二种params传递

1540137054091.png

• data

  • 通常，你想要发送一些编码为表单形式的数据——非常像一个 HTML 表单。要实现这个，只需简单地传递一个字典给 data 参数

    payload = {'key1': 'value1', 'key2': 'value2'}
    r = requests.post("http://httpbin.org/post", data=payload)
    print(r.text)
    

    {
    "args": {},
    "data": "",
    "files": {},
    "form": {
    "key1": "value1",
    "key2": "value2"
    },
    "headers": {
    "Accept": "/",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "23",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.19.1"
    },
    "json": null,
    "origin": "183.220.26.60",
    "url": "http://httpbin.org/post"
    }

  • 很多时候你想要发送的数据并非编码为表单形式的。如果你传递一个 string 而不是一个 dict，那么数据会被直接发布出去。

    import requests
    url = 'https://api.github.com/some/endpoint'
    payload = {'some': 'data'}
    r = requests.post(url, json=payload)
    print(r.text)
    

    {"message":"Not Found","documentation_url":"https://developer.github.com/v3"}

  • 传递文件

    url = 'http://httpbin.org/post'
    files = {'file': open('report.xls', 'rb')}
    r = requests.post(url, files=files)
    r.text
    

    {
      ...
      "files": {
        "file": "<censored...binary...data>"
      },
      ...
    }
    

  • data 参数传入一个元组列表。在表单中多个元素使用同一 key 的时候，这种方式尤其有效：

    payload = (('key1', 'value1'), ('key1', 'value2'))
    r = requests.post('http://httpbin.org/post', data=payload)
    print(r.text)
    

    {
    "args": {},
    "data": "",
    "files": {},
    "form": {
    "key1": [
    "value1",
    "value2"
    ]
    },
    "headers": {
    "Accept": "/",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "23",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.19.1"
    },
    "json": null,
    "origin": "183.220.26.60",
    "url": "http://httpbin.org/post"
    }

• headers

  • 请求头

    详细内容系转载：原文：https://blog.csdn.net/u012613251/article/details/82424691

    Header 解释 示例
    Accept 指定客户端能够接收的内容类型 Accept:text/plain,text/html
    Accept-Charset 浏览器可以接受的字符编码集。 Accept-Charset:iso-8859-5
    Accept-Encoding 指定浏览器可以支持的web服务器返回内容压缩编码类型。 Accept-Encoding:compress,gzip
    Accept-Language 浏览器可接受的语言 Accept-Language:en,zh
    Accept-Ranges 可以请求网页实体的一个或者多个子范围字段 Accept-Ranges:bytes
    Authorization HTTP授权的授权证书 Authorization:Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
    Cache-Control 指定请求和响应遵循的缓存机制 Cache-Control:no-cache
    Connection 表示是否需要持久连接。（HTTP 1.1默认进行持久连接） Connection:close
    Cookie HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。 Cookie:$Version=1;Skin=new;
    Content-Length 请求的内容长度 Content-Length:348
    Content-Type 请求的与实体对应的MIME信息 Content-Type:application/x-www-form-urlencoded
    Date 请求发送的日期和时间 Date:Tue,15 Nov 2010 08:12:31 GMT
    Expect 请求的特定的服务器行为 Expect:100-continue
    From 发出请求的用户的Email From:user@email.com
    Host 指定请求的服务器的域名和端口号 Host:www.zcmhi.com
    If-Match 只有请求内容与实体相匹配才有效 If-Match:“737060cd8c284d8af7ad3082f209582d”
    If-Modified-Since 如果请求的部分在指定时间之后被修改则请求成功，未被修改则返回304代码 If-Modified-Since:Sat,29 Oct 2010 19:43:31 GMT
    If-None-Match 如果内容未改变返回304代码，参数为服务器先前发送的Etag，与服务器回应的Etag比较判断是否改变 If-None-Match:“737060cd8c284d8af7ad3082f209582d”
    If-Range 如果实体未改变，服务器发送客户端丢失的部分，否则发送整个实体。参数也为Etag If-Range:“737060cd8c284d8af7ad3082f209582d”
    If-Unmodified-Since 只在实体在指定时间之后未被修改才请求成功 If-Unmodified-Since:Sat,29 Oct 2010 19:43:31 GMT
    Max-Forwards 限制信息通过代理和网关传送的时间 Max-Forwards:10
    Pragma 用来包含实现特定的指令 Pragma:no-cache
    Proxy-Authorization 连接到代理的授权证书 Proxy-Authorization:Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
    Range 只请求实体的一部分，指定范围 Range:bytes=500-999
    Referer 先前网页的地址，当前请求网页紧随其后,即来路 Referer:http:
    TE 客户端愿意接受的传输编码，并通知服务器接受接受尾加头信息 TE:trailers,deflate;q=0.5
    Upgrade 向服务器指定某种传输协议以便服务器进行转换（如果支持） Upgrade:HTTP/2.0,SHTTP/1.3,IRC/6.9,RTA/x11
    User-Agent User-Agent的内容包含发出请求的用户信息 User-Agent:Mozilla/5.0(Linux;X11)
    Via 通知中间网关或代理服务器地址，通信协议 Via:1.0 fred,1.1 nowhere.com(Apache/1.1)

    • 使用请求头

      url = 'https://api.github.com/some/endpoint'
      headers = {'user-agent': 'my-app/0.0.1'}
      r = requests.get(url, headers=headers)
      

  • 响应头

    获取响应头

    url = 'https://api.github.com/some/endpoint'
    headers = {'user-agent': 'my-app/0.0.1'}
    r = requests.get(url, headers=headers)
    print(r.headers)
    

    响应头里有一个参数Set-Cookie很重要，因为这是用来让浏览器设置cookie的，使用代码访问时需要使用这个cookie;

    1540138538764.png

    Location参数是302跳转后的网址

    1540138538764.png

• proxies

  代理就是你使用的是其他的ip地址去访问网址，用于爬虫被封ip后的应对方法

  使用代理的方法可以选择一个IP用到死换，也可以选择用一段时间后就更换另外一批IP

  proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
  }
  # http针对http网址生效， https针对https网址生效，如果没有，则是本地ip访问
  r = requests.get("http://example.org", proxies=proxies)
  print(r.text)
  

• verify

  • Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。SSL 验证默认是开启的，如果证书验证失败，Requests 会抛出 SSLError:

    requests.get('https://github.com', verify=True)
    

  • 你可以为 verify 传入 CA_BUNDLE 文件的路径，或者包含可信任 CA 证书文件的文件夹路径

    requests.get('https://github.com', verify='/path/to/certfile')
    

  • 忽略SSL证书验证时可设置为False

    requests.get('https://kennethreitz.org', verify=False)
    

• timeout

  超时

  为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下，除非显式指定了 timeout 值，requests 是不会自动进行超时处理的。如果没有 timeout，你的代码可能会挂起若干分钟甚至更长时间。

  连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是connect()_），Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值，因为 TCP 数据包重传窗口 (TCP packet retransmission window) 的默认大小是 3。

  一旦你的客户端连接到了服务器并且发送了 HTTP 请求，读取超时指的就是客户端等待服务器发送请求的时间。（特定地，它指的是客户端要等待服务器发送字节之间的时间。在 99.9% 的情况下这指的是服务器发送第一个字节之前的时间）。

  # 延迟5s
  r = requests.get('https://github.com', timeout=5)
  # connect read
  r = requests.get('https://github.com', timeout=(3.05, 27))
  # 永久超时
  r = requests.get('https://github.com', timeout=None)
  

• allow_redirects

  • 可以选着禁止重定向的参数

    r = requests.get('http://github.com', allow_redirects=False)
    print(r.status_code)
    

• stream

  • 获取来自服务器的原始套接字响应 需要设置的参数

    r = requests.get('https://api.github.com/events', stream=True)
    print(r.raw)
    # <requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
    print(r.raw.read(10))
    # '\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
    

• auth

  • 身份验证, requests 简化了多种身份验证形式的使用，包括非常常见的 Basic Auth。

    from requests.auth import HTTPBasicAuth
    auth = HTTPBasicAuth('fake@example.com', 'not_a_real_password')
    r = requests.post(url=url, data=body, auth=auth)
    print(r.status_code)
    # 201
    content = r.json()
    print(content[u'body'])
    #Sounds great! I'll get right on it.
    

• cert

  • 证书;可以指定一个本地证书用作客户端证书，可以是单个文件（包含密钥和证书）或一个包含两个文件路径的元组：

    r = requests.get('https://kennethreitz.org', cert=('/path/client.cert', '/path/client.key'))
    print(r)
    

• hooks

  • Requests有一个钩子系统，你可以用来操控部分请求过程，或信号事件处理。 你可以通过传递一个 {hook_name: callback_function} 字典给 hooks 请求参数为每个请求分配一个钩子函数：

    若回调函数返回一个值，默认以该值替换传进来的数据。若函数未返回任何东西，也没有什么其他的影响。

    def print_url(r, *args, **kwargs):
        print(r.url)
    
    hooks=dict(response=print_url)
    s = requests.get('http://httpbin.org', hooks=dict(response=print_url))
    print(s)
    # http://httpbin.org/
    # <Response [200]>
    

3.requests解码方式

res.encoding = 'utf-8'

4.requests响应方式

• res.text

  文本

• res.content

  二进制（图片等）

• res.headers

  响应头

• res.cookies.get_dict()

  获取cookie

• res.status_code()

  状态码

• res.json()

  获取json数据

• res.url

  获取当前url

5.requests POST提交

• data 普通form_data数据提交
• file 文件提交
• json 普通pay_load数据提交

6.requests会话保持(Session)

• 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提升。

• session = requests.Session()

• 添加自带cookie:

  requests.utils.add_dict_to_cookiejar(session.cookies,{"JESSION":"07et4ol1g7ttb0bnjmbiqjhp43"})
  

• 使用session登录的代码实例

  • 专利汇 https://www.patenthub.cn/ 登录

  import re
  import requests
  
  # 禁用安全请求警告
  requests.packages.urllib3.disable_warnings()
  
  
  def login(username, password):
      """
      专利汇登录获取cookie, 使用session追踪cookie
      :param username: 用户名
      :param password: 密码
      :return:
      """
      session = requests.Session()
      login_url = 'https://www.patenthub.cn/user/login.json'
      base_url = 'https://www.patenthub.cn/search/advanced.html'
  
      # 构建post参数， 通过谷歌抓包查看
      data = {
          'redirect_to': 'https://www.patenthub.cn/search/advanced.html',
          'sso': '',
          'account': username,
          'password': password
      }
      # 构建请求头
      headers = {
          'Accept': 'application/json, text/javascript, */*; q=0.01',
          'Accept-Encoding': 'gzip, deflate, br',
          'Accept-Language': 'zh-CN,zh;q=0.9',
          'Cache-Control': 'no-cache',
          'Connection': 'keep-alive',
          'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
          'Host': 'www.patenthub.cn',
          'Origin': 'https://www.patenthub.cn',
          'Pragma': 'no-cache',
          'Referer': 'https://www.patenthub.cn/user/login.html',
          'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '
                        'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36',
          'X-Requested-With': 'XMLHttpRequest'
      }
      # 使用session post登录 login_url
      res = session.post(login_url, headers=headers, data=data, verify=False)
      if res.status_code == 200:
          # 使用session 访问首页看是否访问成功
          res = session.get(base_url, headers=headers)
          # 如果文档里含有用户名的前4个数字，则访问成功，返回cookie, 例：15928333211 ---文档里是 1592****3211
          if re.findall(username[:3], res.text):
              cookies = session.cookies.get_dict()
              print(cookies)
              return cookies
  
  
  if __name__ == '__main__':
      login('13911111111', '123456')
  

  7.相关内容补充，日后再说