spark 优先使用用户自定义jar包
2019-12-16 本文已影响0人
_backtrack_
问题背景
- 使用 ambari 搭建的hadoop 集群，自己搭建升级了spark 版本以后，之前应用程序依赖 httpclient（4.5.2） 包版本比新spark 环境中 httpclient（4.5.4） 版本低，导致编译后的代码无法在集群运行，需要调整版本兼容性来处理问题。
错误详情
image.png
解决方案
spark-submit --master yarn --class xxx.xxx.Main --conf spark.driver.userClassPathFirst=true --conf spark.executor.userClassPathFirst=true --jars xxx/xxx.jar,xxx1.jar spark.yarn.dist.jars=.xxx/xxx2.jar
