Scrapy_spider文件操作

spider
异步框架

第一步 （基本）

• 改类属性
• response.xpath分析
• 遍历数据列表，xpath分析数据
• 在items.py__写字段scrapy.Field()
• 构建字段item
• yield 传递字段 --->管道

第二步 （parse传递）

• yield 构建请求对象，参数，回调 类方法
• 在新的方法 重复第一步
• pipelines配置__init__
• 返回 item

数据库

• 定义 setting 文件
• 类方法 crawler 数据库
• 数据库方法