hadoop二三事大数据,机器学习,人工智能大数据

Spark通信--client、master、worker间的通

2018-01-09  本文已影响29人  柠樂helen

转载自  http://www.wangsenfeng.com/articles/2016/10/26/1477467509513.html

Client:提交作业。

Master:接收作业,启动Driver和Executor,管理Worker。 

Worker:管理节点资源,启动Driver和Executor。

(1)Client to Master

RegisterApplication:注册应用。 

(2)Master to Client 

RegisteredApplication:注册应用后,回复给Client。

ExecutorAdded:通知Client Worker已经启动了Executor,当向Worker发送Launch-Executor时,通知Client Actor。 

ExecutorUpdated:通知Client Executor状态已更新。

(3)Master to Worker 

LaunchExecutor:启动Executor。 

RegisteredWorker:Worker注册的回复。 

RegisterWorkerFailed:注册Worker失败的回复。 

KillExecutor:停止Executor进程。 

(4)Worker to Master

RegisterWorker:注册Worker。

Heartbeat:周期性地Master发送心跳信息。

ExecutorStateChanged:通知Master,Executor状态更新。

上一篇 下一篇

猜你喜欢

热点阅读