大数据 爬虫Python AI Sql玩转大数据ETL作业调度工具TASKCTL

自动化运维-ETL调度-批量管理免费工具 TASKCTL 8.0

2022-04-22  本文已影响0人  TASKCTL

TASKCTL 8.0

8.0 是一款基于B/S架构的【轻量企业级免费ETL任务批量处理工具】开发运维均极为简单,帮您快速搭建数据平台,数据源广泛支持各种数据库、 文本文件、SAP、WebService、Hadoop等等;开发数据转换只需熟悉SQL开发即可,支持拖拽式图形化的作业流程设计界面,以及可视化的任务作业管理、计划调度、实时监控、消息提醒和日志分析,有效弥补传统ETL工具在调度管理和监控分析等方面的不足,大幅降低开发和运维成本,同时平台提供元数据管理、数据质量、版本控制、日志分析等辅助管理功能,为企业提供包括数据迁移、数据仓库、数据标准化、数据同步、数据备份、数据交换在内的一体化数据整合服务。

8.0 总体架构

通过上图了解到,TASKCTL-WEB是 TASKCTL客户端 应用产品系列中重要一员。有三大功能模块:

平台管理(Admin):平台级配置信息管理。如网络节点管理,作业类型扩展,工程管理,全局变量管理,调度元信息导入导出,用户及权限管理,消息接口管理等。

作业设计(Designer):作业调度元信息设计。如:作业控制容器(定时器/作业流)的管理,作业关系、属性编辑,变量管理,作业组织模块管理等。

运行监控(Monitor):作业运行监控维护平台。对设计好的调度元信息进行运行监控以及人工操作干预。对运行信息进行查询、统计、分析等。

登陆界面

平台部署的时候,已经确定了调度服务端信息。因此不必再像桌面客户端一样需要输入调度服务端地址。

如上图所示:输入正确的用户名、密码点击“登录”按钮,登录成功后,TASKCTL将根据登录用户进行一系列的初始化操作,加载基本的运行信息。

欢迎界面

成功登陆后,便可进入软件的首页,分别为产品的三大功能模块“管理平台(Admin)、设计平台(Designer)、监控平台(Monitor)”,如上图所示。

安装部署

服务端环境安装

安装步骤

第一步:解压安装包:把安装包拷贝到需要安装服务的用户下,解压安装包文件如下:

第二步:配置环境变量:在安装用户下进入到.bash_profile或.profile文件中配置环境变量如下:

(配置完成后使环境变量生效,<重新登录用户或者用source命令>,以 echo $TASKCTLDIR能打印出环境变量值为准)

第三步:执行安装程序:进入到cirinst目录下,执行inst程序。然后进入字符界面如下图所示:

点击回车键后,安装程序会自动检查用户环境变量,如果TASKCTLDIR环境变量目录存在则继续,否则请按照第二步配置好环境变量再重新安装。检查通过后会出现以下界面:

这里我们选择1典型安装。安装程序会依次安装字符界面客户端、核心调度服务控制节点,并要求输入调度服务节点IP地址和服务节点监听端口号。

IP 地 址:使用管理员分配给服务节点的IP地址(必须是本机IP地址)

端 口:使用管理员分配给服务节点的端口号(必须是未被占用端口)

接下来就是是否安装范例,根据自身需要选择后,服务就安装完成并启动了。

应用端安装

安装环境:

安装步骤

1. 环境准备

因为在线应用端基于java开发,需要安装java1.8版本。可以通过java – version 命令查看具体,如下图所示

2. 步骤

a) 上传并解压安装安装包TASKCTL-web-7.1.zip

b) 进入解压后的目录TASKCTL-web-7.1,执行sh install.sh命令。确定web应用的IP/端口及调度服务端的IP/端口信息。

c) 执行startup.sh启动web应用。通过Webkit内核的浏览器(如:360,chrome等)

d) 安装过程完毕

上一篇下一篇

猜你喜欢

热点阅读