flink安装配置、开发环境搭建
2021-11-02 本文已影响0人
雨中的单车
需要Java 8 或者 Java 11
下载地址:https://flink.apache.org/zh/downloads.html
centos系统下解压
tar zxvf flink-1.14.0-bin-scala_2.12.tgz
进入目录cd flink-1.14.0
启动集群
./bin/start-cluster.sh
提交作业
bin/flink run examples/streaming/WordCount.jar
examples目录下附带了许多的示例作业
停止集群
bin/stop-cluster.sh
提交作业后,在http://localhost2:8081,可以查看正在运行的作业


只能有一个作业在运行,如果有作业在运行,在启动其它作业就会报错。

使用idea、gradle搭建flink开发架构

选择gradle

输入项目名称

生成的build.gradle

添加依赖包

引用slf4j注意一下,如果想在控制台输出直接用slf4j-api和slf4j-simple,如果想打印到日志文件可以用slf4j-api和slf4j-log4j12,最好版本号要对应,不然报错。
指定main文件地址和配置添加依懒到打包文件中,不然打包后的jar包无法执行。

配置完成后,更新gradle

将官网的实例基于DataStream API实现欺诈检测直接拷贝过来

直接运行含main方法的主文件

控制台运行结果

生成打包文件

打包依赖

将打包文件发到指定位置
执行bin/flink run test-1.0-SNAPSHOT.jar 提交作业执行
在http://localhost2:8081查看作业信息
参考文档:
https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/try-flink/local_installation/
https://www.baeldung.com/gradle-fat-jar
https://www.dazhuanlan.com/li-dw/topics/1228169
https://github.com/heibaiying/BigData-Notes/blob/master/notes/Flink%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.md
https://zhuanlan.zhihu.com/p/82399103
https://zhuanlan.zhihu.com/p/346960667
https://zhuanlan.zhihu.com/p/102325190
https://www.infoq.cn/article/1teibnjyh0zq9yjtodcy