Spark

maven/scope/idea | ClassNotFound

2020-01-18  本文已影响0人  海边的贝壳林

问题:Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf

出现的原因:

注意这里的scope
注意这里的scope, 为了在运行时使用公司统一的spark平台(jar), 所以程序打包的时候需要保证scope是provided. 但是也带来了问题, 在idea用main函数直接启动时, 无法使用maven中的jar包. 那么怎么解决呢?
  1. 将scope这个标签去掉, 使用默认的scope, 即compile. 但, 这样就违背了我们的初衷.
  2. 在idea中进行下步操作, 就是运行时包含scope为provided的jar包.


    1
2
上一篇 下一篇

猜你喜欢

热点阅读