Scrapy执行过程

scrapy框架提供的功能：
- 应用twisted，下载页面
- HTML解析对象
- 代理
- 延迟下载
- 去重
- 深度（可以指定深度）、广度优先