flinkSpark_Flink_HadoopFlink入门到精通

Intellij ide+sbt+Flink+scala Win

2019-03-12  本文已影响0人  卧雪听月

近期在无网络环境内网 Window 环境配置 Flink开发环境,很艰苦。由于准备使用Scala,根据官网Flink推荐使用sbt 来进行配置管理,使用Intellij ide来作为开发IDE。之后将Flink sbt的 skeleton 模板跑通。

开发环境情况说明

1.1 相关软件列表及版本说明

项目 版本 备注
JDK 1.8+ 官方
Scala 2.12.8 官方
Sbt 1.2.8 包管理工具,java对应maven
IntelliJ IED 2018.3.5 Community Edition 开发IDE开源免费版
Scala-intelliJ 2018.3.6 IDE的scala插件
Flink 1.7.2 官方最新
local.zip 外网笔记本相同配置下.ivy2目录下的jar包 Sbt 使用ivy 管理依赖 jar包
Flink-scala-template Flink官方 sbt-scala项目模板

1.2 安装说明

按照1.1中说明,依次安装JDK、Scala、Sbt、IntelliJ IED。


image.png

之后安装Intellij IDE scala 插件,File-> settings->Plugins , 设置中直接选择Install Plugin from Disk..


image.png

很关键的一步,由于内网环境无法根据依赖下载jar包,变通之策就是通过外网环境相同安装配置,可以work的情况下,去找sbt使用的系统个人根目录下的.ivy2目录下的local包,打包给无网络环境的开发环境使用,需要将local.zip 放到ivy目录下(默认是在系统用户根目录下隐藏文件.ivy2,sbt使用ivy来进行依赖包管理),之后将local内容拷贝到同目录下cache文件夹下(如果没有则请创建)
将Flink-scala-template导入IED中.


image.png

运行:在IDE 命令行中输入 sbt run运行项目:会出现让从三个main class选择要运行的,此时选择第三个 wordcount 程序即可。


image.png

此时运行成功, 以上完成本次配置。

其他说明

由于配置过程较为复杂,不排除文档中存在描述不够准确的事项,后续继续补充。
此外,进一步的开发会涉及到其他jar包的使用,新jar包如何导入现有环境进行集成配置,有待补充。

上一篇下一篇

猜你喜欢

热点阅读