IDEA本地运行spark程序
2018-09-04 本文已影响0人
RedHatMe
-
idea 里面 加入scala sdk和 spark jar
-
本地安装spark 并启起来
-
本地安装scala
- 代码里面conf
val conf = new SparkConf().setAppName(appName).setMaster("spark://ziwei.local:7077")
加入master 指向。
localhost:8080 直接可以跳spark 环境看 运行的日志
或者 http://ziwei.local:8080
spark网页看任务执行情况
