nodejs云采集云爬虫控制台
2019-02-20 本文已影响2人
北方蜘蛛
简介
本系统是一个完全由后台管理控制台来编写,部署,的智能平台,由nodejs mysql编写。
功能模块
任务配置,日志模块,代理IP模块,模板配置模块,运行异常报警模块。
详细介绍
支持xpath规则,支持json规则
不说太多废话了直接上图了

新增任务

编辑任务 x-path

编辑任务 JSON

任务详情

新增模板
新增模板就是要配置抓哪一类的网站,需要抓那些字段

就先上这些图吧,总之是比较好的云爬虫平台,可以开放给需要采集数据的用户用。目前还没想好如何商业化。
有技术问题,欢迎留言讨论。