scrapy入门使用及pycharm远程调试
2021-11-15 本文已影响0人
haoxuan_xia
一·scrapy的入门使用
- scrapy的安装
pip3 install scrapy
- 创建scrapy项目
scrapy startproject moviespider
- 创建scrapy爬虫：在项目目录下执行
scrapy genspider movie 163.com
- 运行scrapy爬虫：在项目目录下执行
scrapy crawl movie
# 如果不需要查看日志文件运行
scrapy crawl movie --nolog
二·PyCharm调试运行Scrapy项目
1.pycharm打开一个scrapy项目
-
找到scrapy包复制cmdline.py 到项目主目录（scrapy.cfg文件的同一目录下）
-
编辑文件调试运行配置
image.png
image.png
20211115102449.png
-
也可以代码运行调试
image.png
