scrapy爬虫框架

@[toc]
scrapy是一个快速功能强大的网络爬虫框架

scrapy的安装

pip install scrapy

安装后小测

scrapy -h

scrapy爬虫框架结构

爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。
爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。

分布式、数据流

• Engine
  控制所有模块之间的数据流
  根据条件触发事件
  不需要用户修改

• Downloader
  根据请求下载网页
  不需要用户修改

• Scheduler
  对所有爬取请求进行调度处理
  不需要用户修改

• Downloader Middleware
  目的：实施Engine、Scheduler和Downloader之间进行用户可配置的控制
  功能：修改、丢弃、新增请求或响应
  用户可以编写配置代码

• spider爬虫框架结构
  解析Downloader返回的响应（Response）
  产生爬取项（scraped item）
  产生额外的爬取请求（Request）
  需要用户编写配置代码

• Item Pipelines
  以流水线方式处理Spider产生的爬取项
  由一组操作顺序组成，类似流水线，每个操作是一个Item Pipeline类型
  可能操作包括：清理、检验和查重爬取项中的HTML数据、将数据存储到数据库
  需要用户编写配置代码

• Spider Middleware
  目的：对请求和爬取项的再处理
  功能：修改、丢弃、新增请求或爬取项
  用户可以编写配置代码

requests库和scrapy爬虫的比较

相同点：
两者都可以进行页面请求和爬取，python爬虫的两个重要技术路线
两者可用性都好，文档丰富，入门简单
两者都没有处理js、提交表单、应对验证码等功能（可拓展）

scrapy常用命令

scrapy爬虫的命令行逻辑

命令行（不是图形界面）更容易自动化，适合脚本控制。
本质上，scrapy是给程序员用的，功能（而不是界面）更重要