程序员

spark程序打包到运行

2018-10-24  本文已影响16人  飞叔Brother

工作好几年了,但是每次隔一段时间后,写好spark程序打jar包运行,都会从打包到运行,上网查个遍,耽搁好长时间。

今天,我决定。我要把整个过程记录下来,以备不时之需。谁也拦不住我。


程序打包

工具IDEA

1,右击项目名称,选择Open Mdoules Settings。

第一步

2,点击Artifacts => 点击+号 => 点击jar => 点击From modules with dependencies...。

第二步

3,选择主类 => 选择第二个单选框 => 选择META-INF的存放位置 => 点击ok。

第三步

4,将Type改为:JAR => 将下图的复选框勾选 => 点击ok。

第四步

5,点击左上角菜单栏中的Build => 选择Build Artifacts...。

第五步

6,出现下图,点击Build。

第六步

完成以上六步,稍做等待,待打包完成,到第四步图中的Output directory的目录中找到打好的jar包即可。


运行程序

上传jar,到spark的bin目录下运行jar。OK!

./spark-submit --master yarn-cluster --class rxcdTest.SparkTest /home/weipengfei/jars/SpectrumMonitoringDataSystem_jar.jar


以上所述如有不妥,恳请大家指正。

(如果对您有所帮助话,那就点个赞点个关注吧,嘻嘻~~)

安利一个特别热心的编程乐园群:624108656

超级热心的群
上一篇下一篇

猜你喜欢

热点阅读