scrapy开始项目

开始一个项目

scrapy startproject douban

生成一个爬虫文件

scrapy genspider doubantest douban.com

新建一个启动文件main.py

from scrapy.cmdline import execute
execute("scrapy crawl doubantest".split())

最后的目录结构

scrapy项目目录结构

启动爬虫

# IDE里面运行main.py，或者
python main.py