spark的UI可视化和JsonAPI

2018-10-24  本文已影响0人  机器不能学习

获取执行任务的各类信息可以通过history-server或者是REST API

前者是一个UI界面可以通过访问访问18080端口进行访问,spark的8082端口一般只有正在执行的任务信息。而history-server可以浏览所有执行过的任务信息。它会将执行任务时产生的log提供给UI。

配置问题:开启在conf/defaut配置文件中,该文件中的eventlog要设置为true,eventdir也要设置路径。

具体配置在spark-env.sh中,可以参照官网配置。

REST API可依赖于18080端口。输入localhost:18080/api/v1/applications会出现所有应用的信息。如果想看某一个信息,找到该任务的json中的id,输入localhost/18080/api/va/application/id。其他操作行为也可见官网。

上一篇下一篇

猜你喜欢

热点阅读