Linux集群部署Kettle
2019-11-22 本文已影响0人
SmailTrey
一.Kettle原理简单描述:
一个主carte服务器和多个carte服务器组成,类似于主仆模式(Master-Slave),实质Master并不是处理处理具体任务,仅仅只负责任务的分发和运行结果的收集。Master节点收到请求后,会把任务分成多个部分交给slave carte执行,slave(子节点)执行完毕会把结果信息交给Master进行汇总收集,最终结果返回。
二.主仆模式(Master-Slave)核心思想:
一个基于分而治之思想设计模式,将一个任务(原始任务)分解为若干个语义等同的子任务,并由专门的工作者线程来并行执行这些任务,原始任务的结果是通过整合各个子任务的处理结果形成的。
三.基本集群环境配置(服务器信息):
- 环境相关信息:linux(Centos6.8.iso镜像) + JDK 1.8.0_171 + pdi-ce-7.0.0.0-25
- 节点相关信息:
1. 192.168.146.131:8080 (Mster主节点)
2. 192.168.146.132:8081 (SlaveFrist)
3. 192.168.146.133:8082 (SlaveSecond) - 注意:节点服务器节点开防火墙,不然访问不了
四.配置Kettle集群
1.1 配置主节点服务器
打开Kettle解压目录,再找集群配置文件的目录(data-integration../pwd),里面有4个XML文件,包含主服务配置文件(carte-config-master-8080.xml)和子服务器配置文件(carte-config-**.xml)。
配置描述
主服务器相关配置
1.2 配置从节点服务器
子服务器器相关配置
注意:剩下子服务器复制主从配置文件(修改静态IP即可)
1.3 启动节点信息
启动节点命令
启动成功的判断(监听的IP+Port)
1.4 spoon建立集群,创建子服务器
Spoon中主服务器配置
Spoon中从服务器配置
Sponn子服务器集群配置
设计转换流程启动(Run)