数仓ETL工具之Kettle

Kettle07:Kettle查询控件

2021-05-12  本文已影响0人  勇于自信

本章讲解Kettle如下四个查询控件的使用案例:
01 HTTP client
02 数据库查询
03 数据库连接
04 流查询

查询

查询是转换里面的第七个分类。
查询是用来查询数据源里的数据并合并到主数据流中。



1.HTTP client

HTTP client是使用GET的方式提交请求,获取返回的页面内容。


自定义常量数据

自定义常量数据是用来生成一些不变的数据。



案例:
从网络上获取xml,解析出ProductID、ProductName、SupplierID、CategoryID,保存到Excel中
地址:http://services.odata.org/V3/Northwind/Northwind.svc/Products/
分析:
输入:Excel输入
查询:HTTP client
输入:Get data from XML
输出:Microsoft Excel输出

2.数据库查询

数据库查询就是数据库里面的左连接。
左连接就是两张表执行左关联查询,把左边的表数据全部查询出来。





案例:
从employees表中读取数据,根据dep_id从departments表获取dep_name,保存到Excel中
分析:
输入:表输入
查询:数据库查询
输出:Microsoft Excel输出


3.数据库连接

数据库连接可以执行两个数据库的查询,和单参数的表输入。




案例:
从departments表中读取数据,连接到另外一个数据库的employees,把数据保存到Excel
分析:
输入:表输入
查询:HTTP client
输出:Microsoft Excel输出


4.流查询

流查询在查询前把数据都加载到内存中,并且只能进行等值查询。





案例:
从Excel读取employess和departments的数据,根据dep_id来查询dep_name,把数据保存到Excel
分析:
输入:Excel输入
查询:流查询
输出:Microsoft Excel输出


上一篇 下一篇

猜你喜欢

热点阅读