打包方式运行编写的Spark程序

2017-03-01  本文已影响145人  来往穿梭

说明:windows环境下编写spark程序,在linux下运行

例:一个简单的求π的spark程序


一、先通过mvn命令打包

mvn clean :

mvn package:


二、将生成的jar包,上传到linux(我的在jars目录下),然后执行运行命令

以local形式运行($SPARK_HOME如果未指定,先要export SPARK_HOME = 个人的spark安装目录):

以yarn平台形式运行:(yarn上运行先要设置 HADOOP_CONF_DIR)

1.设置HADOOP_CONF_DIR


2.yarn上运行($SPARK_HOME如果未指定,先要export SPARK_HOME = 个人的spark安装目录)

可以在浏览器端查看


至此,运行了一个简单的spark程序。

上一篇 下一篇

猜你喜欢

热点阅读