在idea中使用spark

Spark 是用scala语言实现的，专为大规模数据处理而设计的快速通用的计算引擎。

安装scala

• 所需文件 :

1. scala-intellij-bin-2016.3.9.zip
2. hadoop2.6
3. test1.txt

本文默认是idea已经可以打开其他maven项目运行了。如果你还没有打开过其他项目，或者没有配置过JDK,Maven,SVN...请转去 [idea打开maven项目]（http://www.jianshu.com/writer#/notebooks/15779596/notes/16214599/preview）

• 1. 在idea中配置plugin，安装scala

  • 1.1 file->settings->plugins->右侧面板选择install plugins from disk,选择
    scala-intellij-bin-2016.3.9.zip 所在路径,安装后restart idea

scala插件安装

• 1.2 file->Project Structure->libraries->点击右侧面板，左上方的+红色按钮，配置
  Scala SDK，默认会弹出选择Scala jdk 2.10。

Scala SDK

• 1.3如果弹出框显示nothing to show，则选择download ->2.10.6，等待下载完成后，选择相应版本。(等好久 ╮(￣▽￣)╭)
• 配置完成后，截图如下：

Scala SDK配置成功

• 2.配置hadoop

新增系统变量 HADOOP_HOME: hadoop2.6的文件路径，如：

  HADOOP_HOME:  D:\hadoop2.6

• 3.检验是否成功安装

在spcp-spark项目中，找到HDFSTest.scala ，修改一下代码中测试文件（test1.txt）的路径。然后在代码内，run HDFSTest,控制台打印数据，则成功安装

修改test1.txt路径