Kettle分区、集群及并行

       Kettle的转换和作业可以在垂直和水平方面进行扩展。
       垂直扩展是尽可能利用单台服务器上的多CPU核数。水平扩展是使用多台机器资源，使他们并行计算。
       下面先谈谈转换内部的并行机制。

一.多线程

       默认情况下转换中的每一个步骤都事在单一隔离的线程里面并行执行，但可以为任何单一步骤增加线程数目，这叫做复制。这可以提高CPU时间消耗量大的转换步骤的性能。

image.png

       *4代表了4个复制将在运行时被启动。

Step：描述需要做的某项工作的定义或元数据。
Step copy：在步骤里定义的执行某项工作的一个并行工作线程

       step仅仅是任务的定义，而一个step copy则表示一个实际执行的任务。

记录行分发

       记录怎样分发给目标步骤复制？默认下，分发以循环方式执行。比如有N份复制，第一份复制获取第一条，第二份复制获取第二条，以此类推。

记录行合并

       记录合并发生在几个步骤或步骤复制发送多条记录给单个步骤复制时。

image.png

记录行再分发

       在记录行再分发里，有X个步骤复制发送记录集给Y个目标步骤复制。

image.png

其等同于下图：

image.png

数据流水线

       数据流水线是再分发的一个特例，它的来源和目标步骤复制是一样的（X==Y）。这种情况下，记录集不是通过所有步骤复制被再分发的，相反，由源步骤复制1产生的记录集被发送到具有相同编号的目标步骤复制。
       例如：

image.png
       等同于以下转换：
image.png
       分发和合并记录行的过程中有一些可衡量的开销，通常情况下，最好让连续的步骤复制数目保持一致，用来减少这个开销。

二.多线程的后果

       转换的多线程可能造成的后果，以及如何处理。

数据库连接

       如果再转换执行的过程中为每个线程创建单一链接，那么每个步骤复制都打开它们自己单独的事务或者事务集。
       这会导致一个潜在后果，就是使用同一个数据库资源场景下（比如一张表），会发生条件竞争。
       一个典型场景是当往一个关系数据表里写入数据并在随后步骤读回时，不能确保第一个步骤写入数据可见于其他执行读操作的步骤。
       解决方法：可以强制所有步骤使用单一数据库连接，启用转换设置对话框中的“Make the transformation database transcational”，这样会降低转换性能。

执行顺序

       转换中的步骤没有特定执行顺序，如果需要按顺序执行，可以创建一个作业。也可以用以下几个技巧：
Blocking步骤
       Blocking步骤在默认配置下是简单的吃掉所有记录行后，才将最后一条记录行传递给下一个步骤。

作业中的并行执行

       可以在作业里并行执行作业项，如下所示：

image.png

三.用Carte作为子服务器

       子服务器是在远程服务器上执行转换和作业的一个组成模块。Carte是一个轻量级的服务器进程，可以远程监控和开启转换集群的能力。
       子服务器是集群的最小组成模块。它是一个小型的HTTP服务器，用来接收远程客户端的命令，这些命令控制了自服务器上的作业和转换的部署、管理和监控。

启动一个子服务器：
sh carte.sh server1 8181

定义子服务器

       如图所示：

image.png

四.集群转换

       集群技术可以用来水平扩展转换，使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。这部分将介绍如何配置和执行一个转换，让其运行在多台机器上。
       一个集群schema由一台主服务器，和一起子服务器组成，主服务器作为一个集群的控制器。
       一个集群schema也包含元数据，记录主服务器和子服务器之间怎样来回传递数据。在Carte服务器之间传递数据是通过TCP/IP套接字。
       注意：要想使得一台子服务器变成主服务器，可以简单地在子服务器的复选框里勾选“is the master”。

定义一个集群schema

       在定义一个集群schema之前，需要定义一些子服务器。
       新建集群schema如下图所示：

image.png

• 端口：TCP/IP socket端口用来传输数据从一台子服务器到另一台。
• Sockets缓存大小：用来缓解子服务器之间通信。
• Dynamic Cluster：启用时，会使Kettle在主服务器上动态搜索，决定schema的子服务器的列表。

设计集群转换

       要设计一个集群转换，得先建立一个标准的转换，然后将其变为集群类型的。创建一个集群schema，选择想要在其上运行的步骤，右击这个步骤，选择想要执行这个步骤的集群。

image.png

       当执行这个转换，所有被定义成集群运行（有C*1）的步骤都将运行在这个子服务器上，而没有标识的步骤运行在主服务器上。
       比如下图所示：

image.png

Kettle集群的缺点

       Kettle集群能在部分服务器宕机的情况下继续使用。在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成。在执行转换时，主服务器负责分发跟踪任务和收集结果汇总，从服务器负责具体的转换执行。在Kettle中，如果主服务器也宕机的话并不存在服务器重新选举的功能（类似redis、zookeeper），一旦主服务器宕机，则Kettle集群就不能使用了。

五.分区

定义一个分区

       Kettle中的分区是指kettle可以根据一个分区规则引导数据记录行到某一个步骤复制（步骤的多线程）的能力。在kettle中，一组给定的分区集叫做分区schema，规则本身叫做分区方法。分区schema要么包含一命名的分区列表，要么简单的包含数个分区。分区方法不是分区schema的一部分。
       如下图所示为新建一个分区：

image.png
       一旦这个分区schema定义，在转换李，可以根据一个分区方法应用它到一个步骤。当在这个步骤菜单上选择分区选项时，会弹出一个对话框让你选择使用哪个分区方法。