从头安装3--spark

2017-08-16  本文已影响0人  丁逸

个人备注网页, 不喜勿扰

1.解压spark
[root@base ~]# tar -zxf downloads/spark-2.1.1-bin-hadoop2.7.tgz
2.为方便以后,改名
[root@base ~]# mv spark-2.1.1-bin-hadoop2.7 spark
3.修改spark-env.sh
[root@base ~]#cd spark/conf
[root@base spark]#ls -all

如果有spark-env.sh这个文件,有则跳过下面这段代码,没有则执行

[root@base conf]# mv spark-env.sh.template spark-env.sh
[root@base conf]# vi spark-env.sh
在 spark-env.sh 中增加:

export SPARK_LOCAL_IP=master
export SPARK_MASTER_HOST=master #完成都说是SPARK_MASTER_IP,在此版本中不好使.
export SPARK_WORKER_MEMORY=1g
export SCALA_HOME=/root/scala-2.11.0-RC4
export JAVA_HOME=/root/jdk1.7.0_80
export SPARK_HOME=/root/spark

4.运行测试
[root@base spark]# ./sbin/start-all.sh
5.页面访问
http://192.168.10.109:8080
Workers 中有workerID
Address为192.168.10.109
能够正确访问,有相关信息则启动成功
6.关闭服务
[root@base spark]# ./sbin/stop-all.sh

上一篇下一篇

猜你喜欢

热点阅读