Centos下的Spark环境搭建

2018-03-19  本文已影响0人  CodeNing

在usr文件夹下新建java,scala,和spark文件夹,并将对应压缩包放入文件夹内

打开终端输入命令新建文件夹:

cd /uer

mkdir java(scala,spark同)

将压缩包上传至对应目录下,可使用工具

解压jdk 

输入命令

  tar –zxvf jdk-8u161-linux-x86.tar.gz


解压SDK

配置jdk环境变量,在、etc/profile下添加如下语句

配置JDK

然后输入source /etc/profile/保存配置,输入java –version验证sdk

验证SDK

解压scala

解压scala

配置scala

在profile文件添加如下:

scala配置

验证scala

输入

scala –version



验证scala

解压spark

输入命令

tar –zxvf spark-2.3.0-bin-hadoop2.7.tgz


解压spark

配置spark

添加如下,添加完成后保存执行命令

source /etc/peofile



配置spark

进入到主目录,也就是执行下面的命令:

 cd    /opt/spark/spark-2.3.0-bin-hadoop2.7

 执行命令,启动脚本:

./bin/spark-shell


上一篇 下一篇

猜你喜欢

热点阅读