NetDiscovery框架的Admin模块介绍

爬虫框架NetDiscovery有一个Admin模块，今天学习了一下，分享如下。

1) 技术介绍

• layUI
• jquery
• axios
• q.js
• SpringBoot
• quartz
• mybatis
• NetDiscovery
• ProxyPool

2) 功能介绍

2.1 爬虫管理：监控爬虫引擎里爬虫的工作状态

2.2 代理管理：通过定期任务获取代理网页上的免费IP并定期清理

配置Job用的资源 配置Job

• 服务器启动后，会把数据库里的所有Job加载到调度器（state：Normal）
• 内置的CheckProxyJob不能删除，用来定期遍历检查ProxyPool.proxyList里的代理IP是否还有效，如果无效就删除掉

监控调度器里的Job

3) 配置运行

• JDK8
• Idea IDE （对我来说，比eclipse用起来更溜）
• gradle（NetDiscovery框架优先使用gradle）
• 参考模块代码中的application.properties
• 创建MySql数据库 /resource/static/sql/net_admin.sql

总结，通过前端layUI和后端SpringBoot搭建了一个Web框架。然后结合quartz实现定时job的控制。

参考：https://github.com/whvcse/EasyWeb