spark-3.0.0安装教程
1. 安装JDK1.8
有些系统默认安装openjdk, 先卸载之，安装标准的JDK1.8 ，使用该命令查看 openjdk的 安装路径, 查出安装名称
rpm -qa | grep jdk
用该命令卸载：
rpm -e –nodeps xxxxxx
用例：
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
上传jdk安装包到规划的路径，路径为 /home/ysops/java
解压包
tar -zxvf jdk-8u161-linux-x64.tar.gz
在非root用户下安装jdk, 在当前用户目录下：
vi .bash_profile
复制如下内容：
export JAVA_HOME=/home/ysops/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=${JAVA_HOME}/jre
退出 vi 编辑器， 执行
source .bash_profile
Java -version 出版本信息，安装ok
2. 安装spark
服务器规划：
| IP | 路由服务端口 |
|---|---|
| 10.213.50.94 | cnsz72vl0237 |
| 10.213.50.95 | cnsz72vl0238 |
| 10.213.50.96 | cnsz72vl0239 |
将安装包上传到指定服务器目录, 该目录统一放置spark的所有环境搭建:
/home/ysops/spark/
这里使用的是 spark-3.0.0-bin-hadoop2.7.tgz 这个安装包
解压命令： tar -zxvf 压缩包名
tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz
此时解压完成生成spark组件文件夹
- standalone模式
Spark自带的一个简单的集群模式，典型的Master/slave模式，与MapReduce1.0框架类似，Spark框架本身也自带了完整的资源调度管理服务，可以独立部署到一个集群中，而不需要依赖其他系统来为其提供资源管理调度服务
Spark master节点（主）：10.213.50.94
Spark slave：10.213.50.94, 10.213.50.95, 10.213.50.96
将解压的文件重新命名为 spark-standalone
cp spark-3.0.0-bin-hadoop2.7 spark-standalone
3台服务器都使用同样的文件路径释放spark，每台服务器都做同样的配置，分别进入conf目录下：
释放spark-env.sh 文件，并添加如下内容：
export JAVA_HOME=/home/ysops/java/jdk1.8
SPARK_MASTER_HOST=cnsz72vl0237
SPARK_MASTER_PORT=7077
SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/ysops/spark/spark-standalone/external_jars/*
2.释放slaves 文件，并添加如下内容：
cnsz72vl0238
cnsz72vl0239
或者使用如下命令进行文件分发：
scp -r ~/spark/spark-standalone ysops@10.213.50.95:~
scp -r ~/spark/spark-standalone ysops@10.213.50.96:~
3 在spark3.0.0的版本中，出于对安全风险的控制，默认关闭了rest 模式，需要手动开启配置，在master服务器的conf目录下 spark-defaults.conf文件中设置下值：
spark.master.rest.enabled true
表示启用rest url 。
在规划的master 节点服务器上启动 master 进程，进入到 sbin 目录下 执行 ./start-master.sh，
在规划的slave节点服务器上启动 slave进程,( 10.213.50.94, 10.213.50.95, 10.213.50.96)
./start-slave.sh 10.213.50.94:7077
查看进程使用 jps
截图展示：
image.png
image.png
image.png
访问master服务器地址: http://10.213.50.94:8080/
image.png
发布一个应用到spark集群:
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://10.213.50.94:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
examples/jars/spark-examples_2.12-3.0.0.jar \
10
