玩转大数据

Flink on Yarn部署和任务提交操作

2019-07-15  本文已影响1人  AlienPaul

1.环境变量配置

若要在Yarn上运行Flink应用,必须实现告诉Flink和yarn有关的配置。需要怎么告诉Flink呢?

提交Flink任务的client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR环境变量,通过这个环境变量来读取YARN和HDFS的配置信息,否则提交任务会失败。

2.提交Flink任务到yarn的两种方式

同时启动Yarn application和Flink task

flink run -m yarn-cluster -ys 8 -ynm myapp -yn 4 -yjm 1024 -ytm 4096 -d -c com.paultech.MyApp ./myapp.jar

参数说明:

先启动Yarn application,再在指定的application内运行Flink task

启动yarn session的命令如下:

yarn-session.sh -d -n 4 -nm riskmanater -jm 1024 -tm 4096 -t relative/path/to/file

相关参数解释:

在特定Flink yarn session上提交Flink任务:

flink run -yid application_12345678 --class MainClassFullPath riskmanager.jar

这里使用-yid参数来指定任务运行于那个Flink yarn session之上。

上一篇下一篇

猜你喜欢

热点阅读