Python模块·Requests请求数据（可以作用于爬虫）
2023-01-11 本文已影响0人
技术老男孩
一、Requests简介：
- requests 是用 Python 语言编写的、优雅而简单的 HTTP 库
- requests 内部采用来 urillib3
- 需要爬虫可以使用该工具模块
- requests 发送一个 GET 请求，需要在 URL 里请求的参数可通过 params 传递
- requests 发送一个 POST 请求，新增了一个可选参数 data，需要通过 POST 请求传递 body 里的数据可以通过 data 传递
二、Requests常用函数：
| 分类 | 关键字 / 函数 / 方法 | 说明 |
|---|---|---|
| 模块 | import requests | 导入模块 |
| requests.get("url") | 向指定站点发出GET请求（查） |
|
| requests.post("url") | 向指定站点发出POST请求（增） |
|
| requests.delete("url") | 向指定站点发出DELETE请求（删） |
|
| requests.put("url") | 向指定站点发出PUT请求（改-全量修改） |
|
| requests.patch("url") | 向指定站点发出PATCH请求（改-补丁修改） |
|
| 对象 | response=requests.get("url") | 获取请求返回值对象 |
| response.text |
text：以文本的方式显示相应结果 |
|
| response.content |
content：以二进制方式显示相应数据格式："b'.....'" |
|
| response.json() |
json()：以JSON的方式显示相应结果相当于调用了json.loads(response.text) |
|
| response.encoding |
encoding：修改编码 |
三、请求参数：
- 当访问一个 URL 时，我们经常需要发送一些查询的字段作为过滤信息，例如：httpbin.com/get?key=val，这里的 key=val 就是限定返回条件的参数键值对
- 当利用 python 的 requests 去发送一个需要包含这些参数键值对时，可以将它们传给params
- 还可以通过headers参数，模拟真实用户访问，绕过反爬虫机制
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'
url = 'https://www.baidu.com/s?'
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}
# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)
print(response.text)
四、案例练习：（下载网页源代码，并下载全部图片素材）
- 下载新浪首页图片
import os.path
import re
import threading
import requests
# 下载资源函数
def download(url, file_name):
response = requests.get(url)
with open(file_name, mode="wb") as fw:
# 写入到指定文件中
fw.write(response.content)
# 获取url列表（图片）
# 1.读取网页文件内容
# 2.匹配url正则
# 3.保存匹配结果到列表中
# 4.返回列表
def get_url(file_name, re_str):
with open(file_name, mode="r") as fr:
regular_obj = re.compile(re_str)
url_list = []
while True:
line_data = fr.readline()
if len(line_data) == 0:
break
result = regular_obj.search(line_data)
if result is not None:
url_list.append(result.group())
return url_list
if __name__ == '__main__':
# 网页文件下载地址 图片存放地址
html_file, pic_dir = "/opt/my_html.html", "/tmp/images/"
# 指定下载url，可以动态变换
url_html = "https://www.sinaxxxx.com.cn"
# 文件不存在则下载
if not os.path.exists(url_html):
# 下载网页资源
download(url_html, html_file)
# 目录不存在则创建
if not os.path.exists(pic_dir):
os.makedirs(pic_dir)
# 图片路径的正则判断
pic_re = "(http|https)://[\w\./-]+\.(jpg|png|jepg|gif)"
# 获取图片资源
list_image = get_url(html_file, pic_re)
# 下载图片素材到 /tmp/images
for url_image in list_image:
f_name = url_image.split("/")[-1]
print(f_name)
# 异步下载资源
threading.Thread(
target=download,
args=(url_image, f"{pic_dir}{f_name}")
).start()
