centos spark单机版伪分布式模式
Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。
1.2 Spark 部署依赖
Spark Standalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于Hadoop HDFS，因此我们也部署了伪分布式的Hadoop。
本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主机名称是vm91，已经做好了ssh免登录。Spark各依赖组件的版本分别如下：
- JDK 1.8.0_71
- Scala 2.11.8
- Hadoop 2.6.0
scala下载
https://www.scala-lang.org/download/2.11.8.html
安装后，设置各组件的环境变量如下：
# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8
# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop
2. Spark 部署
2.1 下载和安装
Spark最新的稳定版本是2.0.1，下载地址是http://spark.apache.org/downloads.html。因为我们使用Hadoop版本是2.6.0.因此下载的时候选择的是Pre-built for Hadoop 2.6。
# 下载
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解压安装
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz
配置环境变量
# vi /etc/profile
输入以下配置项，在profile的尾部，并保存退出。
# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH
使配置生效
source /etc/profile
Spark目录结构介绍
- bin：提交运行Spark程序的脚本
- conf：配置文件所在的目录
- data：测试数据
- examples：样例程序和源码
- jars：jar lib的目录
- LICENSE：顾名思义，license文件
- licenses：依赖的第三方组件的licenses
- logs：默认的日志目录
- NOTICE
- python：Python相关的脚本、文档和lib
- R：R语言相关的文档、lib
- README.md：readme文件，对于初学者很有用
- RELEASE：发行版本介绍
- sbin：启动和停止脚本目录
- yarn：spark-yarn-shuffer.jar目录
2.2 配置
Spark的配置文件位于$SPARK_HOME/conf目录下，需要修改的配置文件包括spark-env.sh、spark-defaults.conf和slaves。这三个文件，conf目录都只有模版文件，需要我们重命名。
cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves
spark-env.sh
本次只修改了以下两个参数。
# 指定JDK路径
export JAVA_HOME=/opt/jdk
# 设置Master的地址
SPARK_MASTER_HOST=vm91
其余参数均采用了默认配置，包括了Hadoop配置文件的路径、Worker的内存和CPU资源的配置等，各配置项的含义，注释中都有说明。
spark-defaults.conf
spark-defaults.conf文件用于设定一些默认的Spark环境变量，本次设定了master的地址，和spark shuffer文件的保存路径。
spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle
slaves
slaves文件用于配置集群拥有的Worker。编辑slaves文件，输入hostname。
vm91
以上就是Spark伪分布式的安装配置过程；如果要分布式部署，只需要在slaves中设置其余Worker的主机名，并把本机的spark部署环境拷贝到其余主机上即可。
2.3 启动和停止
Spark启动后，可以通过jps命令来查看启动的进程，正常情况下，可以看到1个Master进程和1个Worker进程。
# 启动
$SPARK_HOME/sbin/start-all.sh
# 停止
$SPARK_HOME/sbin/stop-all.sh
# Web UI地址
http://192.168.1.91:8080
3. Spark 程序运行
3.1 提交Spark程序
使用脚本提交运行Spark程序。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi
可以看到屏幕上输出了Pi的值。
Pi is roughly 3.13959569797849
3.2 Spark-shell
使用如下命令，可以进入scala的shell交互式模式（可以看到spark版本及scala版本）。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell
:quit 退出（前面有个冒号）
查看master
http://hostname:8080/
查看worker
http://hostname:8081/
查看job详请（必须启动spark shell）
http://hostname:4040/
