Tlink介绍

Test Flink Streaming SQL

本地执行flink streaming SQL快速进行验证，不依赖任何额外组件，帮助业务人员提高SQL开发效率。项目地址请在github中检索tlink。代码传送门

快速上手

tlink.properties内容如下，是运行一个sql需要配置的最小集，默认产生数据的字段为user,product,amount

tlink.streaming.sql.statement=SELECT user, product, SUM(amount) as amounts FROM Orders GROUP BY user, product
tlink.sink.table.fieldNames=user,product,amounts
tlink.sink.table.fieldTypes=LONG,STRING,INT
tlink.sink.table.type=Retract

执行sh build.sh进行编译，会在build文件夹下面生成tlink目录

进入tlink目录执行下面命令

sh bin/tlink /opt/tlink/conf/tlink.properties

在控制台就可以看到类似如下的输出，会显示发送的数据以及sql运行的结果

sand data:3,foo,2
Result:(true,3,foo,2)
sand data:9,baz,4
Result:(true,9,baz,4)
sand data:9,foo,7
Result:(true,9,foo,7)
sand data:6,baz,6
Result:(true,6,baz,6)
sand data:2,foo,8
Result:(true,2,foo,8)
sand data:3,foo,8
Result:(false,3,foo,2)

基于Event time窗口的SQL可以参见下面的配置

tlink.streaming.sql.statement=SELECT user, TUMBLE_START(rowtime, INTERVAL '5' SECOND) as wStart,  SUM(amount)  FROM Orders GROUP BY TUMBLE(rowtime, INTERVAL '5' SECOND), user

tlink.source.table.fieldNames=user,product,amount,rowtime.rowtime
tlink.source.table.fieldTypes=LONG,STRING,INT,LONG
tlink.source.eventTime.index=3
tlink.streaming.sql.env.timeCharacteristic=EVENT
tlink.sink.table.fieldNames=user,wStart,amounts
tlink.sink.table.fieldTypes=LONG,SQL_TIMESTAMP,INT
tlink.sink.table.type=Append

如果要使用blink planner请参见tlink-topN.properties配置

如果要使用多流join请参考tlink-join.properties配置

特性

目前1.0.0版本支持如下特性

1. 支持基于event time和processing time的窗口
2. 支持随机产生数据
3. 支持指定文件的方式产生数据
4. 支持blink planer
5. 支持2个流join、UnionAll等sql
6. 支持通过ddl的方式创建数据源，目前只支持connector.type为filesystem

参数说明