Scrapy 框架中的Scrapy shell调试工具（十七）
2019-07-31 本文已影响0人
梦捷者
一、什么是Scrapy shell？
1、用来调试Scrapy 项目代码的 命令行工具。 启动的时候预定义了Scrapy的一些对象。启动后如下图所示：
2、作用：调试 调试 调试
二、设置相应的shell
- Scrapy 的shell是基于
运行环境中的python 解释器shell。本质上就是通过命令调用shell，并在启动的时候预定义需要使用的对象。 - scrapy允许通过在项目配置文件”
scrapy.cfg”中进行配置来指定解释器shell。 - 例如：
[settings]
shell = ipython
三、启动Scrapy shell调试工具
- 启动Scrapy shell的命令语法格式如下：
scrapy shell [option] [url|file](url 就是你想要爬取的网址)
注意：分析本地文件是一定要带上路径，scrapy shell默认当作url（在根目录运行调试工具哦）
四、Scrapy shell 的使用
Scrapy shell 本质上就是个普通的python shell。只不过提供了一些需要使用的对象，快捷方法便于我们调试。
快捷方法如下：
- shelp()
当在调试的时候忘记上面步骤的时候，就可以运用此命令进行把上面的基本命令用法再次显示出来。 - fetch(url[,redirect=True])
发送url请求，会覆盖上一次的scrapy shell进来的网址,并且形成新的request、response对象。 - fetch(request)
发送由Scrapy.Request()构成的request对象。 - view(response)
用浏览器打开response响应的源代码。（不可以在终端运行，在ubuntu中进行运行） - scrapy
导入的scrapy框架。 - crawler
处理爬虫、下载中间件 - request
请求 - response
响应 - settings
可以键值对的方式来进行获取值（在根目录下运行shell则可以加载当前项目的settings.py文件）
