Flink Application脚本提交和常见参数(On Ya
2024-06-10 本文已影响0人
清蒸三文鱼_
启动脚本
export HADOOP_CONF_DIR=/data/aiops/hadoop/etc/hadoop
export HADOOP_USER_NAME=hdfs
FLINK_HOME=/home/aiops/flink-1.13.6
#这个是官方的样例, 但是跑完后就会停止不方便观察运行情况
#WORDCOUNT_JAR=$FLINK_HOME/examples/streaming/WordCount.jar
#MAIN=org.apache.flink.streaming.examples.wordcount.WordCount
WORDCOUNT_JAR=$FLINK_HOME/flink_demo-1.0-SNAPSHOT.jar
MAIN=org.example.Main
$FLINK_HOME/bin/flink run-application -d \
-t yarn-application \
-m yarn-cluster \
-D yarn.application.name=$applicationName \
-D jobmanager.memory.process.size=1024m \
-D taskmanager.memory.process.size=2048m \
-c $MAIN $WORDCOUNT_JAR \
-t streaming
如果想共享依赖的jar包或者配置文件, 可以加上下面的参数
-D yarn.provided.lib.dirs='hdfs:///tmp/flink-1.13-share' \
-D yarn.properties-file.location=app.properties \
-D yarn.ship-files=ext_runtime.jar
完整参数
详情查看Flink源码