kettle简单使用以及进行数据抽取同步
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，高效稳定。(源自百度百科)
1.使用场景
a.不同服务器数据库之间数据同步,或者数据库数据导出的应用
b.定时任务
2.简单使用kattle进行数据合并+更新+删除+新增
下载好kettle,打开spoon.bat,纯java的工具所以需要jre环境,在此不在赘述.见图1
图1
打开工具后,软件的欢迎页面.右边俩个tab菜单,一个是创建的应用面板,一个是应用的工具对象,图2
图2
现在创建一个转换应用,并且新建DB连接.保存一下这个应用的名称.图3
图3
建好俩个数据库的连接之后就可以进行步骤这一块的操作了.图4
图4
新增2个不同库的表输入步骤(在核心对象菜单中拖拽到面板中就可以),因为是2个不同的库,所以在同步时要注意表的列数和列定义的类型.图5,6
图5
上图这个是新的表输入数据要和旧数据进行合并,选择好数据库连接
图6
上图是旧数据表输入,对应新数据表的2个列.
合并俩个 数据源,新增一个合并记录对象.并且设置好新旧数据库,已经需要比对的字段.图7
图7
上图的右侧填写的是新数据源列,左侧是旧数据源列,关键字即是主键,比对的是第二列的值是否变化
进行debug操作一下 俩个数据的变化.如果有增/删/改 关键字就会有不同的提示.图8
图8
添加一个表输出对象.用于存储合并后的数据列表.图9
图9
选择好表名和数据库连接,勾选存储表名字段,debug进行预览.图10
图10
上图步骤中的数据和合并记录步骤的预览记录并没有什么区别.
添加一个条件判断对象(switch case),依据表输出的diff标识值进行下一步操作.图11
图11
上图的switch字段是表输出步骤中表的比对列,case值是比对列的值,目标步骤是下一步进行的工作.图12
图12
上图是根据不通的值进行不同操作.有删除和更新,以及插入和默认情况.
删除步骤:
删除
更新
更新
插入
插入
不操作,添加一个无操作输入.
总结:整个流程实现了不同数据库中对同一批数据的增/删/改操作.kattle
Paste_Image.png
