linux spark分布式集群搭建图文详解
一.前期准备
1.1 Win7官网下载spark包
本文使用版本spark-1.6.2-bin-hadoop2.6.tgz
1.2 配置jdk
jdk1.7:linux jdk安装和配置
scala2.10.6:linux scala安装和配置
hadoop-2.6.5:hadoop分布式集群搭建
1.3 centos7集群服务器
主机名 系统 IP地址
master centos7 192.168.32.128
slave01 centos7 192.168.32.131
slave02 centos7 192.168.32.132
二.spark完全分布式集群搭建
以下操作只针对master主机服务器，其他主机服务器类似。
2.1 上传spark包至 /opt/software目录
2.2 解压和拷贝spark至 /usr/local/spark
cd /opt/software
tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz
cp -r spark-1.6.2-bin-hadoop2.6 /usr/local/spark
spark解压和拷贝
spark解压和拷贝完成
三.spark完全分布式集群配置
3.1 系统文件profile配置
配置系统环境变量
vi /etc/profile
系统环境配置
退出保存，重启配置
source /etc/profile
3.2 文件配置
定位：cd /usr/local/spark/conf
默认：
log4j.properties.template,spark-env.sh.template,slaves.template,spark-defaults.conf.template
复制：
log4j.properties,spark-env.sh,slaves,spark-defaults.conf
配置文件生成
3.3 修改spark-env.sh文件
vi spark-env.sh
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DRIVER_MEMORY=1G
export SPARK_WORKER_CORES=6
spark-env.sh文件
3.4 修改spark-defaults.conf文件
vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/historyserverforSpark
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.yarn.historyServer.address master:18080
spark.history.fs.logDirectory hdfs://master:9000/historyserverforSpark
spark-defaults.conf文件
3.5 修改slaves文件
vi slaves
master
slave01
slave02
slaves文件
3.6 hadoop新建historyserverforSpark目录
#新建historyserverforSpark目录
hadoop fs -mkdir /historyserverforSpark
#查看目录
hadoop fs -ls /
目录新建和查看
3.7 slave01和slave02服务器修改
3.7.1 spark文件复制
复制master中spark文件到slave01和slave02服务器的/usr/local目录
scp -r /usr/local/sparkroot@slave01:/usr/local/spark
scp -r /usr/local/sparkroot@slave012:/usr/local/spark
3.7.2 系统环境profile配置
类似3.1 分别在salve01和slave02配置系统环境
四.spark集群测试
4.1 测试命令
#启动
start-all.sh start
#停止
stop-all.sh start
4.2 集群测试
在master服务器运行启动命令
进入/usr/local/spark目录
4.2.1 启动各个节点
sbin/start-all.sh start
启动节点
4.2.2 启动start-history-server
sbin/start-history-server.sh
history启动
4.2.3 查看节点状态
jps查看节点进程
master进程
slave进程
4.2.4 web端验证是否启动成功
通过web端的18080端口查看是否启动成功
http://192.168.32.128:18080
验证启动
4.2.5 通过spark-submit命令运行jar包
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.32.128:7077 lib/spark-examples-1.6.2-hadoop2.6.0.jar 10
spark-submit测试
spark应用管理
history-server
至此，spark完成分布式集群搭建完毕。
