从头安装3--spark
2017-08-16 本文已影响0人
丁逸
个人备注网页, 不喜勿扰
1.解压spark
[root@base ~]# tar -zxf downloads/spark-2.1.1-bin-hadoop2.7.tgz
2.为方便以后,改名
[root@base ~]# mv spark-2.1.1-bin-hadoop2.7 spark
3.修改spark-env.sh
[root@base ~]#cd spark/conf
[root@base spark]#ls -all
如果有spark-env.sh这个文件,有则跳过下面这段代码,没有则执行
[root@base conf]# mv spark-env.sh.template spark-env.sh
[root@base conf]# vi spark-env.sh
在 spark-env.sh 中增加:
export SPARK_LOCAL_IP=master
export SPARK_MASTER_HOST=master #完成都说是SPARK_MASTER_IP,在此版本中不好使.
export SPARK_WORKER_MEMORY=1g
export SCALA_HOME=/root/scala-2.11.0-RC4
export JAVA_HOME=/root/jdk1.7.0_80
export SPARK_HOME=/root/spark
4.运行测试
[root@base spark]# ./sbin/start-all.sh
5.页面访问
http://192.168.10.109:8080
Workers 中有workerID
Address为192.168.10.109
能够正确访问,有相关信息则启动成功
6.关闭服务
[root@base spark]# ./sbin/stop-all.sh