Centos下的Spark环境搭建
2018-03-19 本文已影响0人
CodeNing
在usr文件夹下新建java,scala,和spark文件夹,并将对应压缩包放入文件夹内
打开终端输入命令新建文件夹:
cd /uer
mkdir java(scala,spark同)
将压缩包上传至对应目录下,可使用工具
解压jdk
输入命令
tar –zxvf jdk-8u161-linux-x86.tar.gz
配置jdk环境变量,在、etc/profile下添加如下语句
配置JDK然后输入source /etc/profile/保存配置,输入java –version验证sdk
验证SDK解压scala
解压scala配置scala
在profile文件添加如下:
scala配置验证scala
输入
scala –version
解压spark
输入命令
tar –zxvf spark-2.3.0-bin-hadoop2.7.tgz
配置spark
添加如下,添加完成后保存执行命令
source /etc/peofile
进入到主目录,也就是执行下面的命令:
cd /opt/spark/spark-2.3.0-bin-hadoop2.7
执行命令,启动脚本:
./bin/spark-shell