[spark 之webUi的入门知识-2(历史日志服务配置)]

1、复制在$SPARK_HOME/conf 下的  spark.default.conf.template到spark.default.conf

2、将以下内容添加到spark.default.conf中(或者将注释解开)(https://spark.apache.org/docs/2.3.1/configuration.html)

```spark.eventLog.enabledtruespark.eventLog.dir                hdfs://mycluster/spark/logspark.history.fs.logDirectory      hdfs://mycluster/spark/logspark.eventLog.compresstrue```

注意：

(1)spark.history.fs.logDirectory：指定了从哪个目录下恢复历史日志。

(2)spark.eventLog.compress：指定日志为压缩格式(为true，如果不是设置此配置，使用hdfs fs ...查看历史日志，是一种json的格式，大致能看得懂)。

  (3)注意这里面的dir需要在自己的hdfs上创建directory这个目录。

  (4)历史日志服务配置完之后，以后再启动spark之前，需要启动好hdfs(因为spark 历史服务配置了指向hdfs的路径)

3、启动历史日志服务：

```

../spark/sbin/start-history-server.sh

```

4、访问历史日志

 5、其它

（1）可以更改spark web Ui的访问端口，具体的 在$SPARK_HOME/conf/spark-env.sh中添加：