爬虫046_requests基础

1、为什么要重点学习requests模块，而不是urllib

• 企业中用的最多的就是requests
• requests的底层实现就是urllib
• requests在python2 和python3中通用，方法完全一样
• requests简单易用

2、requests的作用与安装

作用：发送网络请求，返回响应数据

命令： pip install requests

requests模块发送简单的get请求、获取响应

需求：通过requests向百度首页发送请求，获取百度首页的数据

import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

response的常用属性：

• response.text 响应体 str类型

• response.encoding 从HTTP　header中猜测的响应内容的编码方式

• respones.content 响应体 bytes类型

• response.status_code 响应状态码

• response.request.headers 响应对应的请求头

• response.headers 响应头

• response.cookies 响应的cookie（经过了set-cookie动作）

• response.url 获取访问的url

• response.json() 获取json数据 得到内容为字典 (如果接口响应体的格式是json格式时)

• response.ok

  如果status_code小于等于200，response.ok返回True。

  如果status_code大于200，response.ok返回False。

思考：text是response的属性还是方法呢？

• 一般来说名词，往往都是对象的属性，对应的动词是对象的方法

3.1 response.text 和response.content的区别

• response.text
  • 类型：str
  • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码
  • 如何修改编码方式：response.encoding="gbk/UTF-8"
• response.content
  • 类型：bytes
  • 解码类型： 没有指定
  • 如何修改编码方式：response.content.deocde("utf8")

获取网页源码的通用方式：

1. response.content.decode()
2. response.content.decode("UTF-8")
3. response.text

以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题

所以：更推荐使用response.content.deocde()的方式获取响应的html页面