设置pycharm调试scrapy框架爬虫
2018-10-09 本文已影响172人
右哼哼丨左哼哼
初次接触scrapy爬虫的同学可能遇到启动scrapy爬虫都是通过命令行方式启动的
如我们耳熟能详的
scrapy crawl xxxxx
但是这样一来 就给调试带来诸多不便,不停的切换窗口不说,而且还要反复重复的输入框架爬虫启动命令,都疯了好吗?
下面给大家带来一波福利,教大家如何用pycharm启动(vscode以及其他编辑器都可以使用)
1. 在项目文件夹里创建一个py文件,命名为main.py(名字真的随意,你也可以叫run.py)
2. 使用如下代码来执行cmd命令
image.png
然而 对于初次运行这样的脚本的同学 可能会遇到如下报错:
image.png
这个错误处理很简单 ,利用pip install 安装一下缺少的模块就行了 ,不过这里注意要安装的模块名字是pypiwin32(我不会告诉你们这个报错是win操作系统独有的,Linux不会有这个报错)
好了执行我们的安装
pip install pypiwin32
极个别用户提示已安装,但是还是无法运行scrapy,请参考这篇文章:Python-“import win32api”报“ImportError：DLL load failed：找不到指定的模块。”错误的解决
我们重新在编辑器启动调试,可以看到如下结果:
image.png
对没错,我们已经可以在pycharm里随时启动scrapy框架爬虫了,下面附上程序main.py源码:
from scrapy.cmdline import execute
import sys
import os
# 获取当前脚本路径
dirpath = os.path.dirname(os.path.abspath(__file__))
print(dirpath)
# 添加环境变量
sys.path.append(dirpath)
# 启动爬虫,第三个参数为爬虫name
execute(['scrapy','crawl','My51spider'])
