IDEA集成Spark
2018-10-16 本文已影响8人
Martin_阿锤
1.新建maven工程
2.点击工程项目，添加scala语言环境（注意Spark有对应的Scala版本信息）
图片.png
图片.png
3.maven 中央库中查找相应的Spark包，添加到maven配置中
https://mvnrepository.com/
4.运行时的一些注意事项：
4.1新建的时obj不是class
4.2报的一些启动的问题，可能时Spark和Scala版本不一致（到Spark官网上查找相应的版本）
4.3拷贝一些DemoCode时注意SparkSession和SparkContext区别
