Py爬虫2：分类及robots协议

1、概述

爬虫，即网页爬虫，网页蜘蛛、网络机器人、网络蚂蚁
-搜索引擎，网络爬虫的应用
爬取特定网站、特定类别的数据
爬虫是数据的获取；但后期数据处理、数据存储……
向网站发起请求，获取资源后分析提取有用数据的程序

---

2、爬虫分类

爬虫2大类

• 爬虫一般流程

  
  爬虫流程
• 模拟浏览器发送请求
• 获取响应内容
  返回：HTML/Json/二进制数据(图片或视频等)
• 解析响应内容
  解析HTML数据:正则、xpath(为主)、beautiful soup、css
  解析json数据：json模块
  解析二进制数据：以wb方式写入文件
• 保存数据
  数据库或文件

---

3、robots协议

君子协议

robots协议

---

python 爬虫框架

主要分为5部分，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序(爬取的有价值数据)

• 调度器
  URL管理器、下载器、解析器之间的协调
• URL管理器
  待爬取URL和已爬取URL,防止重复抓取
  三种方式：登录、代理、缓存数据库
• 网页下载器
  传入URL地址来下载网页，将网页转为字符串
  有urllib(包括登录、代理、cookie)、requests
• 网页解析器
  网页字符串进行解析，提取有用的信息
  如正则表达式、html.parser、beautifulsoup、lxml
  注：后面三种是以DOM树的方式进行解析
• 应用程序
  从网页中提取的有用数据组成一个应用
  调度器协调工作