spark2-hdp-yarn-archive.tar.gz

2019-06-20  本文已影响0人  alaya_c09d

Ambari 集群中,hdfs上存在一个压缩包/hdp/apps/2.6.2.0-205/spark2/spark2-hdp-yarn-archive.tar.gz。

spark on yarn 提交任务后,会将该文件下载到本地,如图:


image.png

目前看只有重启spark history server,才会将本地/usr/hdp/2.6.2.0-205/spark2/jars/ 下jar包打包成spark2-hdp-yarn-archive.tar.gz上传。

如果需要添加新的第三方jar,可以手工打包上传。

上一篇下一篇

猜你喜欢

热点阅读