spark standalone+kafka 集群搭建

准备工作：

三台机器：

     192.168.222.129

     192.168.222.130

     192.168.222.131

操作系统：CentOS release 6.7 (Final)

软件版本：

          kafka：kafka_2.10-0.10.0.0.tar.gz

          java：jdk1.8.0_91

          scala：scala-2.10.6

          spark：spark-1.6.1-bin-cdh4.tar.gz

1.三台机器上，都添加hosts

192.168.222.129 spark129

192.168.222.130 spark130

192.168.222.131 spark131

2.安装kafka

  1) 安装包解压到/usr/local/kafka_2.10-0.10.0.0

  2) 进入config目录下，修改zookeeper.properties文件

tickTime=2000

dataDir=/data/zookeeper/

clientPort=2181

initLimit=5

syncLimit=2

server.1=spark129:2888:3888

server.2=spark130:2888:3888

server.3=spark131:2888:3888

  3).在dataDir目录/data/zookeeper/下写一个myid文件，命令如下：

echo1>myid

   这个id是zookeeper的主机标识，每个机器都不一致，依次为1，2，3

4).依次启动3台机器的zookeeper，构成一个集群

sh zookeeper-server-start.sh --daemon ../config/zookeeper.properties

5).修改kafka配置，进入到/usr/local/kafka_2.10-0.10.0.0/config 下修改

server.properties

broker.id=1

port=9092

host.name=spark129

zookeeper.connect=spark129:2181,spark130:2181,spark131:2181

log.dirs=/data/kafka/log/

5).依次启动三台机器的kafka 

./kafka-server-start.sh -daemon ../config/server.properties

3.安装spark

  1） 三个节点上创建spark用户

        useradd spark

        passwd  spark

  2) 安装java和scala 并配置环境变量

  3）每台机器配置ssh无密码登录

yum install -y openssh-server

ssh-keygen -t rsa -P ''

ssh-copy-id spark129

ssh-copy-id spark130

ssh-copy-id spark131

  4）解压spark到/usr/local/spark-1.6.1-bin-cdh4

  5）配置spark的环境变量 

cd /home/spark  

vim ~/.bash_profile

export SPARK_HOME=/home/spark/spark-1.6.1-bin-cdh4

export PATH=.:$SPARK_HOME/bin:$PATH

source ~/.bash_profile

6)配置spark

首先新建好spark用到的目录（使用root用户，只有这里使用root用户，每台机）：

$ mkdir /data                   //存储数据的总目录

$ mkdir /data/spark                  //spark数据存储主目录

$ mkdir /data/spark/local       //spark存储本地数据的目录

$ mkdir /data/spark/log          //spark存储日志的目录

$ mkdir /data/spark/work      //spark存储worker日志等信息的目录

$ chmod -R 777 /data/            //将/data目录权限设置为最大

6) 配置spark-env.sh

Spark-env.sh文件中配置了spark运行时的一些环境、依赖项以及master和slaver的资源配置。

$ cd spark              //进入spark目录

$ cp conf/spark-env.sh.template conf/spark-env.sh              //将spark-env.sh.template复制一份为spark-env.sh

因为我们是部署standalone模式，可以参考配置文件中注释项的提示：

添加以下内容：

配置项

说明

SPARK_LOCAL_IP= spark129 本机ip或hostname（不同主机配置不同）

SPARK_LOCAL_DIRS=/data/spark/local 配置spark的local目录

SPARK_MASTER_IP= spark129 master节点ip或hostname

SPARK_MASTER_WEBUI_PORT=8080 web页面端口

SPARK_WORKER_CORES=2 Worker的cpu核数

SPARK_WORKER_MEMORY=8g worker内存大小

SPARK_WORKER_DIR=/data/spark/work worker目录

export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=4" spark-shell启动使用核数

export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=604800" worker自动清理及清理时间间隔

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://systex/user/spark/applicationHistory" history server页面端口、备份数、log日志在HDFS的位置（注意，需要在HDFS上新建对应的路径）

SPARK_LOG_DIR=/data/spark/log 配置Spark的log日志目录

export JAVA_HOME=/usr/local/jdk/ 配置java路径

export SCALA_HOME=/usr/local/scala/ 配置scala路径

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop 配置hadoop的lib路径

export HADOOP_CONF_DIR=/etc/hadoop/conf 配置hadoop的配置路径

7)  配置spark-defaults.conf

Spark-default.conf文件中主要配置的是与在spark上运行任务有关的一些参数，以及对executor等的配置。

添加以下内容：

配置项

说明

spark.eventLog.enabled  true eventLog是否生效（建议开启，可以对已完成的任务记录其详细日志）

spark.eventLog.compress  true eventLog是否启用压缩（cpu性能好的情况下建议开启，以减少内存等的占用）

spark.eventLog.dir     hdfs://systex/user/spark/applicationHistory eventLog的文件存放位置，与spark-env.sh中的history server配置位置一致

spark.broadcast.blockSize       8m 广播块大小

spark.executor.cores    1 Executor的cpu核数

spark.executor.memory   512m Executor的内存大小

spark.executor.heartbeatInterval        20s Executor心跳交换时间间隔

spark.files.fetchTimeout        120s 文件抓取的timeout

spark.task.maxFailures  6 作业最大失败次数（达到此次数后，该作业不再继续执行，运行失败）

spark.serializer        org.apache.spark.serializer.KryoSerializer 设置序列化机制（默认使用java的序列化，但是速度很慢，建议使用Kryo）

spark.kryoserializer.buffer.max         256m 序列化缓冲大小

spark.akka.frameSize    128 Akka调度帧大小

spark.default.parallelism    20 默认并行数

spark.network.timeout   300s 最大网络延时

spark.speculation       true Spark推测机制（建议开启）

8)  配置slaves

在conf目录下有slaves文件，在其中配置slaves的hostname

$ cp conf/slaves.template conf/slaves

$ vim conf/slaves

添加各个slave节点的hostname：

至此，我们就将spark需要配置的东西全部配置完成，将spark整个目录复制到其他主机：

在相应的主机创建对应的spark软链接，并将spark-env.sh中SPARK_LOCAL_IP改为对应的ip即可。

9)启动spark并测试（spark用户）

现在我们启动spark，在master节点执行以下命令：

$ cd /home/spark/spark

$ ./sbin/start-all.sh                    //启动master和slaves

$ ./sbin/start-history-server.sh        //启动history server

使用jps命令查看是否成功启动：

检查进程是否启动【在master节点上出现“Master”，在slave节点上出现“Worker”】

## 监控页面URL http:// 192.168.222.129:8080/

运行spark-pi：

spark-submit  --master spark://10.47.110.38:7077 --classorg.apache.spark.examples.SparkPi --name Spark-Pi /home/spark/spark/lib/spark-examples-1.6.0-hadoop2.6.0.jar

能看到如下结果：