spark程序jar与spark lib jar冲突，加载顺序

2017-08-12 本文已影响3615人 westfire

用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的问题。本文总结下产生此类问题的原因及解决方案。

例子

比如我们有个spark程序用到了guava的Splitter类：

import com.google.common.base.Splitter;
...
    List list = Splitter.on("/").splitToList(output);

程序在本地模式下能正常运行，打好的jar包也的确包含Splitter类（验证方法参考附录1)，但是在yarn-cluster模式时，会出现“java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToLis” 的错误，具体错误如下：

[2017-07-21 18:16:16,922] ERROR User class threw exception: java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List; (org.apache.spark.deploy.yarn.ApplicationMaster)
java.lang.NoSuchMethodError: com.google.common.base.Splitter.splitToList(Ljava/lang/CharSequence;)Ljava/util/List;
    at cn.creditease.bdp.jsoncook.core.string.Variable.<init>(Variable.java:14)
    at cn.creditease.bdp.jsoncook.core.string.StringCompiler.compileVariable(StringCompiler.java:63)
    at cn.creditease.bdp.jsoncook.core.string.StringCompiler.compile(StringCompiler.java:73)
    at cn.creditease.bdp.jsoncook.core.Compiler.compile(Compiler.java:49)
    at cn.creditease.bdp.jsoncook.core.Compiler.compileMap(Compiler.java:82)
    at cn.creditease.bdp.jsoncook.core.Compiler.compile(Compiler.java:67)
    at cn.creditease.bdp.sparkcook.step.CookStep.<init>(CookStep.java:62)
    at cn.creditease.bdp.sparkcook.step.LoadSQLStep.<init>(LoadSQLStep.java:15)

原因

那是什么原因造成spark程序本地能运行，yarn上就“ NoSuchMethodError”了呢？

原因是本地的jar包被SPARK_HOME/lib中的jar覆盖。spark程序在提交到yarn时，除了上传用户程序的jar，还会上传SPARK_HOME的lib目录下的所有jar包（参考附录2 )。如果你程序用到的jar与SPARK_HOME/lib下的jar发生冲突，那么默认会优先加载SPARK_HOME/lib下的jar，而不是你程序的jar，所以会发生“ NoSuchMethodError”。

上面的例子就是因为我程序的jar用的是guava18版本（mvn dependency:tree可查出版本），但是SPARK_HOME/lib下用的是guava14版本。lib下的guava14覆盖了用户的guava18，而guava14中并没有splitToList()方法, 所以报错。

解决方案

由于默认情况下，优先级SPARK_HOME/lib/jar包 > 用户程序中的jar包，如果想让用户程序jar优先执行，那么要使用 spark.yarn.user.classpath.first (spark1.3以前）或者 spark.executor.userClassPathFirst 和spark.driver.userClassPathFirst 参数。
这些参数能让用户的jar覆盖SPARK_HOME/lib的jar。在spark conf中将他们设置为"true"即可。

如下是“spark.yarn.user.classpath.first” 参数的官方解释：

(Experimental) Whether to give user-added jars precedence over Spark's own jars when loading classes in the the driver. This feature can be used to mitigate conflicts between Spark's dependencies and user dependencies. It is currently an experimental feature. This is used in cluster mode only.

（正文完）

附录1 确认某个类在jar包中

第一种方式，我们用“jar -tf ”命令确认Splitter确实在jar包内，比如确认“Splitter” 类在我们的打好的jar包中：

jar -tf sparkcook-1.0-SNAPSHOT.jar | grep "com/google/common/base/Splitter"
com/google/common/base/Splitter$1$1.class
com/google/common/base/Splitter$1.class
com/google/common/base/Splitter$2$1.class
com/google/common/base/Splitter$2.class
com/google/common/base/Splitter.class

第二种方式是通过反编译工具(如JD-GUI)反编译jar包，在反编译的代码中确认类和方法存在。

第三种方式是借助IDEA等开发工具找到源码所在的位置，还是以查Splitter类为例：