【ETL】系列二:kettle介绍、安装和部署
上文提到了进入ETL2.0阶段,开始了基于Kettle的二次开发。关于Kettle,回顾一下:
盗图侵删Kettle是一款基于java的免费国外开源的ETL工具;
Kettle 可以在Window、Linux、Unix上运行,容易配置易上手;
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么;
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
网上有很多Kettle的安装教程,这里的安装教程是我通过网上学习和开发同学指导下总结的具体步骤,可以给大家参考。
1、Kettle 下载
我们可以进入kettle官网进行下载,进入之后,看到如图所示,查看所有版本,我们可以看到最新版本8.2。
官网下载以及所有旧版本的Kettle
kettle历史版本我们选择8.2版本。
Kettle比较大,下载比较慢,已下载好的安装包自取。
链接: https://pan.baidu.com/s/1AQCa0FSaHcV6DscXyA3A7g 提取码: pfkq
2、Kettle 环境配置
由于Kettle是使用Java语言编写的,所有Kettle的运行需要有Java环境,安装JDK。
我自己在windows和Mac上进行了kettle的安装,将分别进行介绍。
MAC 和Windows的JDK的下载链接: https://pan.baidu.com/s/1G6osXqKxDDSxZQJRFqij3g 提取码: gj87
(一)windows上进行java环境的配置
第一步:下载windows版JDK,并进行安装
windows 版的JDK java 安装成功注意事项:安装过程中会出现两次安装提示,第一次是安装 jdk ,第二次是安装 jre 。建议两个都安装在同一个java文件夹中的不同文件夹中。
第二步:配置环境变量
1、JDK安装完成后,开始设置环境变量,点击计算机→属性→高级系统设置→高级→环境变量
环境变量配置入口2、系统变量设置→新建 JAVA_HOME 变量
在系统变量中新建变量名JAVA_HOME(系统变量一般没有,需要新建);
变量值填写JDK的安装目录(本人是 C:\Program Files\Java\jdk1.8.0_231)
点击确定,则生成一个变量,注意此处的路径要与安装时选择的路径一样,不同的安装路径变量值不同。
新建 JAVA_HOME 变量3、系统变量设置→编辑 Path 变量
在系统变量中找到path变量(一般存在),点击编辑按钮,在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
(注意原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码)
编辑Path 变量值4、系统变量设置→新建 CLASSPATH 变量
在系统变量中新建变量名CLASSPATH(系统变量一般没有,需要新建);
变量值填写 .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意开头的点号和分号不要漏掉)
点击确定,系统变量配置完毕。
新建 CLASSPATH 变量第三步:运行CMD,输入java -version,当出现java版本信息,则表示安装成功。
检验是否配置成功,点击win+R,运行cmd 输入 java -version (java 和 -version 之间有空格),若如图所示显示版本信息,则说明安装和配置成功。
java环境安装成功截图windows上java环境配置也可参考:JDK安装与环境变量配置 和 Windows环境下JDK安装和配置
(二)mac上进行java环境的配置
第一步:下载mac版JDK,并进行安装
JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Mac 版的JDK第二步:打开【终端】,输入 java -version,当出现java版本信息,则表示安装成功。
检验是否配置成功,打开终端,输入 java -version (java 和 -version 之间有空格),若如图所示显示版本信息,则说明安装和配置成功。
java环境安装成功截图
mac上java环境配置也可参考:MAC 系统java开发环境搭建教程和MAC Book 配置java环境详细
3、运行Kettle
(一)在windows环境运行Kettle
进入到Kettle目录,如果Kettle部署在windows环境双击Spoon.bat文件启动Kettle,可以将Spoon.bat添加到桌面快捷方式,每次在桌面启用即可。
windows环境双击Spoon.bat出现如下界面,我们的Kettle就安装成功了。
kettle运行成功windows环境下kettle无法启动的问题解决方案可参考:
(二)在mac环境运行Kettle
在Mac环境下,运行spoon.sh文件启动Kettle。
mac环境双击Spoon.sh出现如下界面,我们的Kettle就运行成功了。
kettle安装成功本人启动kettle过程中遇到的问题,点击【spoon.sh】无法运行,如下图:
mac上无法启动出现的界面解决方案:打开【终端】,输入cd命令行,kettle安装的目录,本人的安装目录:cd ~/Desktop/kettle-8.2/data-integration/,回车后,输入./spoon.sh,再回车,等待一小会儿就启动了。
命令行启动mac环境下kettle无法启动的问题解决方案可参考:kettle在Mac上启动不了解决方案
以上是使用Windows和Mac电脑安装kettle详细介绍,作为一个没啥技术背景的产品,在安装过程中遇到了不少坑,好在也都摸索着解决了,如果你也没有技术背景,静下心来操作,一定可以搞定的。