IDEA上运行Flink任务

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；

IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立即运行不用部署、断点、单步调试等；

环境信息

1. 电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3
2. 操作系统：macOS Catalina 10.15.3
3. JDK：1.8.0_211
4. Maven：3.6.0
5. IDEA：2018.3.5 (Ultimate Edition)
6. Flink版本：1.9.2

关于正版IDEA

如何免费使用正版IDEA，可以参考《免费申请和使用IntelliJ IDEA商业版License指南》

开发

1. 首先确保您电脑上maven已装好；
2. 创建一个flink任务的maven工程，找个干净目录执行以下命令：

mvn \
archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.9.2

3. 按提示输入groupId、artifactId、version、package等内容：

在这里插入图片描述

4. 现在maven工程已生成，用IDEA导入这个工程，如下图：

在这里插入图片描述

5. 以maven的类型导入：

在这里插入图片描述

6. 导入成功后的样子：

在这里插入图片描述

7. 修改<font color="blue">StreamingJob.java</font>，加入功能是监听本地<font color="blue">18081</font>端口，得到的字符串做word count操作，完整代码在此下载：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java

在这里插入图片描述

8. 现在的代码已经能运行，但flink网页却还不能访问，会显示以下错误信息，需要继续做些设置：

在这里插入图片描述

9. 下载flink-1.9.2安装包，这里面有flink网页服务用到的一个jar，地址是：https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz
10. <font color="blue">flink-1.9.2-bin-scala_2.11.tgz</font>下载后解压，在lib目录下有个<font color="blue">flink-dist_2.11-1.9.2.jar</font>文件，记住此文件的位置，稍后会用到；
11. 回到IDEA，在项目上点击右键，点击菜单<font color="blue">Open Module Settings</font>：

在这里插入图片描述

12. 在弹出的窗口做如下操作，目的是给项目中增加jar：

在这里插入图片描述

13. 弹出选择文件的窗口，请选择刚才准备好的文件<font color="blue">flink-dist_2.11-1.9.2.jar</font>：

在这里插入图片描述

14. 设置工作已经完成，由于StreamingJob的工作是读取本机18081端口的数据，所以我们要把18081端口的服务启动起来，不然StreamingJob运行时是连不上端口的，打开一个控制台，执行命令：<font color="blue">nc -l 18081</font>
15. 现在可以将StreamingJob运行起来，如下图，右键点击StreamingJob，选择<font color="blue">Run 'StreamingJob.main()'：</font>即可启动flink任务，如果想打断点调试，请选择<font color="blue">Debug 'StreamingJob.main()'</font>

在这里插入图片描述

16. 回到刚才执行nc命令的控制台，输入一些字符串，例如"aaa bbb aaa"，然后回车；
17. 再回到IDEA，可见StreamingJob已经从18081端口读到了数据并且输出了统计结果：

在这里插入图片描述

18. 在IDEA的控制台搜索关键字<font color="blue">localhost</font>，如下图红框，可以查到flink网页的端口，我这里是<font color="blue">62641</font>：

在这里插入图片描述

19. 浏览器访问<font color="blue">http://localhost:62641</font>，如下图，可见flink网页已经正常显示，正在运行的任务也能看到：

在这里插入图片描述

至此，最简单的IDEA运行flink任务的实战就完成了，如果您也在学习flink，希望本文能给您一些参考；

欢迎关注公众号：程序员欣宸

微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界...
https://github.com/zq2599/blog_demos