胶水Python码农的世界爬虫专题

Requests库及HTTP协议

2017-11-12  本文已影响15人  NiceBlueChai

Requests库的7个主要方法

image.png

HTTP协议对资源的操作

image.png

Requests库的异常


image.png

Request的方法:

url的13个访问控制参数
**kwargs:控制访问的参数,均为可选项

  1. params:字典或字节序列,作为参数增加到url中


  2. data:字典、字节序或文件对象,作为Request的内容


  3. json:JSON格式的数据,作为Request的内容

  1. header:字典,HTTP定制头


  2. cookies:字典或CookiesJar,Request中的cookie

  3. auth:元祖,支持HTTP认证功能

  4. files:字典类型,传输文件


  5. timeout:设定超时时间,单位为秒


  6. proxies:字典类型,设定访问代理服务器,可以增加登录认证


  7. allow_redirects:True/False ,默认为True,重定向开关

  8. stream:True/False ,默认为True,获取内容立即下载开关

  9. verify:True/False ,默认为True,认证SSL证书开关

  10. cert:本地SLL证书路径


基于requests.request()方法的不同请求(method)封装起来的7个方法:


+Requests的post()方法



爬取网页的通用代码框架


r.raise_for_status()的作用:如果返回网页的状态码不是200(信息没有正确获得),返回异常


❤️


上一篇 下一篇

猜你喜欢

热点阅读