IntelliJ IDEA Spark环境搭建

0x00 安装

1. 安装IntelliJ IDEA，并激活
2. 安装Spark，JDK1.8（Spark2.4.3 与 jdk12版本有兼容问题，降级为jdk8版本可以解决）, scala, sbt（一个类似于maven，npm等的scala版本的包管理工具）

0x01 项目配置

参考这篇文献：http://dblab.xmu.edu.cn/blog/1492-2/ 版本有所区别。

包依赖

大多数时候可以简单的通过编辑项目根目录下的build.sbt文件中的libraryDependencies设置项列出需要的依赖，语法如下：
libraryDependencies += groupID % artifactID % revision，其中groupID, artifactID和revision都是字符串。
example：

name := "SparkTest"

version := "0.1"

scalaVersion := "2.12.8"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.3"

此处掉坑：注意%%与%的区别，通过%%，sbt能够帮你找到合适的版本，而%需要人工指明版本。

tips： view -> Tool Windows -> sbt 打开sbt，当build.sbt文件修改后，可以点击刷新按钮方便更新包依赖，此外允许Enable auto-import可以在build.sbt文件修改后实现自动更新。

build && run