spark程序打包到运行
2018-10-24 本文已影响16人
飞叔Brother
工作好几年了,但是每次隔一段时间后,写好spark程序打jar包运行,都会从打包到运行,上网查个遍,耽搁好长时间。
今天,我决定。我要把整个过程记录下来,以备不时之需。谁也拦不住我。
程序打包
工具IDEA
1,右击项目名称,选择Open Mdoules Settings。
第一步2,点击Artifacts => 点击+号 => 点击jar => 点击From modules with dependencies...。
第二步3,选择主类 => 选择第二个单选框 => 选择META-INF的存放位置 => 点击ok。
第三步4,将Type改为:JAR => 将下图的复选框勾选 => 点击ok。
第四步5,点击左上角菜单栏中的Build => 选择Build Artifacts...。
第五步6,出现下图,点击Build。
第六步完成以上六步,稍做等待,待打包完成,到第四步图中的Output directory的目录中找到打好的jar包即可。
运行程序
上传jar,到spark的bin目录下运行jar。OK!
./spark-submit --master yarn-cluster --class rxcdTest.SparkTest /home/weipengfei/jars/SpectrumMonitoringDataSystem_jar.jar
以上所述如有不妥,恳请大家指正。
(如果对您有所帮助话,那就点个赞点个关注吧,嘻嘻~~)
安利一个特别热心的编程乐园群:624108656
超级热心的群