Spark跨集群提交
2018-12-26 本文已影响0人
望山不是山
背景
线上存在两套yarn集群,现在需要将spark应用从集群1提交至集群2上面运行
解决方法
在spark-env.sh中增加export HADOOP_CONF_DIR=
增加目标集群hadoop配置目录
线上存在两套yarn集群,现在需要将spark应用从集群1提交至集群2上面运行
在spark-env.sh中增加export HADOOP_CONF_DIR=
增加目标集群hadoop配置目录