python爬虫框架scrapy基本使用
2020-03-01 本文已影响0人
d34skip
安装scrapy
pip install scrapy
pip install pypiwin32（windows环境下需要安装）
创建项目
scrapy startproject [项目名称]
使用命令创建爬虫（在spiders目录下执行）
scrapy genspider [名字] [域名]
运行代码
scrapy crawl [spiders目录下名称]
项目结构
1,item.py 用来存放爬虫爬取下来数据的模型
2,middlewares.py 用来存放各种中间件
3,pipelines.py 用来将items的模型存储到本地磁盘中
4,settings.py 本爬虫的一些基本配置信息
5,scrapy.cfg 项目的配置文件
6,spiders包 以后所有的爬虫都存里面
