07 pyspider

2019-08-05 本文已影响0人 yungege

01 pyspider

python 脚本控制，可以用任何你喜欢的html解析包（内置 pyquery）

WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出

数据存储支持MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL 及 SQLAlchemy

队列服务支持RabbitMQ, Beanstalk, Redis 和 Kombu

支持抓取 JavaScript 的页面

组件可替换，支持单机/分布式部署，支持 Docker 部署

强大的调度控制，支持超时重爬及优先级设置

支持python2&3

命令行输入

pyspider

在web控制台点create按钮新建任务，项目名自定义。本例项目名为v2ex。

保存后打开代码编辑器(代码编辑器默认有简单的实例代码)

右侧就是代码编辑器，以后可以直接在这添加修改代码。代码如下:

代码简单分析：

def on_start(self) 方法是入口代码。当在web控制台点击run按钮时会执行此方法。
self.crawl(url, callback=self.index_page)这个方法是调用API生成一个新的爬取任务，这个任务被添加到待抓取队列。
def index_page(self, response) 这个方法获取一个Response对象。
response.doc是pyquery对象的一个扩展方法。
pyquery是一个类似于jQuery的对象选择器。
def detail_page(self, response)返回一个结果集对象。这个结果默认会被添加到resultdb数据库（如果启动时没有指定数据库默认调用sqlite数据库）。你也可以重写on_result(self,result)方法来指定保存位置。

更多知识：

@every(minutes=24*60, seconds=0) 这个设置是告诉scheduler（调度器）on_start方法每天执行一次。
@config(age=10 * 24 * 60 * 60) 这个设置告诉scheduler（调度器）这个request（请求）过期时间是10天，10天内再遇到这个请求直接忽略。这个参数也可以在self.crawl(url, age=102460*60) 和 crawl_config中设置。
@config(priority=2) 这个是优先级设置。数字越大越先执行。