第三方爬虫模块-requests模块

1,requests模块

1.1 安装

• pip install requests
• 在开发工具中安装

1.2 requests常用方法

• requests.get(url,headers)

1.3 响应对象response的方法

• response.text 返回unicode格式的数据（str）
• response.content 返回字节流数据（二进制）
• response.content.decode('utf-8') 手动解码
• response.url 返回url
• response.encode() 编码

1.4 requests模块发送 POST请求

1.5 requests设置代理

• 使用requests 添加代理只需要在请求方法中（get/post）传递proxies参数就可以了
• 代理网站
  西刺免费代理IP： http://www.xicidaili.com/
  快代理： http://www.kuaidaili.com/
  代理云： http://www.dailiyun.com/

1.6 cookie

cookie ：通过在客户端记录的信息确定⽤户身份
HTTP是⼀种⽆连接协议,客户端和服务器交互仅仅限于 请求/响应过程,结束后
断开,下⼀次请求时,服务器会认为是⼀个新的客户端,为了维护他们之间的连接,
让服务器知道这是前⼀个⽤户发起的请求,必须在⼀个地⽅保存客户端信息。

3.7 session

session ：通过在服务端记录的信息确定⽤户身份 这⾥这个session就是⼀个
指的是会话

3.8 处理不信任的SSL证书

什么是SSL证书？
 - SSL证书是数字证书的⼀种，类似于驾驶证、护照和营业执照的电⼦副本。

因为配置在服务器上，也称为SSL服务器证书。SSL 证书就是遵守 SSL协
议，由受信任的数字证书颁发机构CA，在验证服务器身份后颁发，具有服务
器身份验证和数据传输加密功能