大数据 爬虫Python AI Sql

nodejs云采集云爬虫控制台

2019-02-20  本文已影响2人  北方蜘蛛

简介

本系统是一个完全由后台管理控制台来编写,部署,的智能平台,由nodejs mysql编写。

功能模块

任务配置,日志模块,代理IP模块,模板配置模块,运行异常报警模块。

详细介绍

支持xpath规则,支持json规则

不说太多废话了直接上图了

任务管理列表

新增任务

新增任务

编辑任务 x-path

编辑任务

编辑任务 JSON

编辑任务JSON版本

任务详情

任务详情
新增模板

新增模板就是要配置抓哪一类的网站,需要抓那些字段

新增模板

就先上这些图吧,总之是比较好的云爬虫平台,可以开放给需要采集数据的用户用。目前还没想好如何商业化。

有技术问题,欢迎留言讨论。

上一篇 下一篇

猜你喜欢

热点阅读