基本的Spark本地调试环境

2017-07-01  本文已影响0人  乖乖的淋啦

1.JDK的安装

2. 环境变量的设置

(1)path

将JDK安装目录下的bin文件夹添加到Path系统变量的目的也就在这里,告诉操作系统:如果在当前目录下找不到java.exe,就去Path系统变量里的那些路径下挨个找一找,直到找到java.exe为止。

(2)classpath

CLASSPATH是在Java执行一个已经编译好的class文件时,告诉Java去哪些目录下找到这个class文件. Java在执行某个class文件的时候,并不会有默认的先从当前目录找这个文件,而是只去CLASSPATH指定的目录下找这个class文件,如果CLASSPATH指定的目录下有这个class文件,则开始执行,如果没有则报错(这里有去当前目录下找这个class文件,是因为当前路径通过.的方式,已经添加到了CLASSPATH系统变量中)。

(3)JAVA_HOME

软件的安装目录

3.Scala的安装

下载得到Scala的msi文件后,可以双击执行安装。安装成功后,默认会将Scala的bin目录添加到PATH系统变量中去(如果没有,和JDK安装步骤中类似,将Scala安装目录下的bin目录路径,添加到系统变量PATH中),为了验证是否安装成功,开启一个新的cmd窗口,输入scala然后回车,如果能够正常进入到Scala的交互命令环境则表明安装成功。如图:

4.Spark的安装

设置完系统变量后,在任意目录下的cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。如图(此处失败):

系统变量设置后,就可以在任意当前目录下的cmd中运行spark-shell,但这个时候很有可能会碰到各种错误,这里主要是因为Spark是基于Hadoop的,所以这里也有必要配置一个Hadoop的运行环境。

5.HADOOP下载

下载好hadoop之后,系统变量设置好后,开启一个新的cmd,然后直接输入spark-shell命令。发现结果与之前的依然一样,按照博主给的方法修改权限后,输入spark-shell依然不可以。Spark不能正常运行。(此处失败

上一篇 下一篇

猜你喜欢

热点阅读