Scrapy项目文件介绍

使用scrapy命令新建一个scrapy爬虫项目，命令行：scrapy startproject first_spider
初始化Scrapy项目中，各文件和文件夹的作用

first_spider文件夹内，有一个scrapy.cfg配置文件和first_spider的文件夹

• 第一层[一级first_spider目录]:

• scrapy.cfg：配置文件，不需要更改
• first_spider文件夹：第二层解释

• 第二层[二级first_spider目录]：

• init.py
  特定文件，指明二级first_spider目录为一个python模块
• item.py：定义需要的item类【实验中需要用到】
• pipeline.py：管道文件，传入item.py中的item类，清理数据，保存或入库
• settings.py：设置文件，例如设置用户代理和初始下载延迟
• spiders目录：第三层解释

• 第三层【spiders目录】

• init.py
  特定文件，指明二级first_spider目录为一个python模块
• 这里是放自定义爬虫的py文件，负责从html中获得数据，传入上一层管道文件中进行数据清理