Flink Application脚本提交和常见参数(On Ya

2024-06-10  本文已影响0人  清蒸三文鱼_

启动脚本

export HADOOP_CONF_DIR=/data/aiops/hadoop/etc/hadoop
export HADOOP_USER_NAME=hdfs
FLINK_HOME=/home/aiops/flink-1.13.6
#这个是官方的样例, 但是跑完后就会停止不方便观察运行情况
#WORDCOUNT_JAR=$FLINK_HOME/examples/streaming/WordCount.jar
#MAIN=org.apache.flink.streaming.examples.wordcount.WordCount
WORDCOUNT_JAR=$FLINK_HOME/flink_demo-1.0-SNAPSHOT.jar
MAIN=org.example.Main

$FLINK_HOME/bin/flink run-application -d \
  -t yarn-application \
  -m yarn-cluster \
  -D yarn.application.name=$applicationName \
  -D jobmanager.memory.process.size=1024m \
  -D taskmanager.memory.process.size=2048m \
  -c $MAIN $WORDCOUNT_JAR \
  -t streaming

如果想共享依赖的jar包或者配置文件, 可以加上下面的参数

  -D yarn.provided.lib.dirs='hdfs:///tmp/flink-1.13-share' \
  -D yarn.properties-file.location=app.properties \
  -D yarn.ship-files=ext_runtime.jar

完整参数

详情查看Flink源码

yarn_config_configuration common_memory_section
上一篇下一篇

猜你喜欢

热点阅读