master、worker、driver、excutor的区别

总结：master和worker是分布式的基础，负责通信和管理上层的进程。driver和excutor是Spark负责执行任务的部分，driver负责分解任务，excutor负责执行任务。

• 我们从master节点提交应用

• master和worker是物理节点，driver和excutor是进程

master节点常驻master守护进程，负责管理worker节点，我们从master节点提交应用。
worker节点常驻worker守护进程，与master节点通信，并且管理executor进程。

• master和worker用来描述集群管理器的中心化和分布式的部分，而driver和excutor描述Spark应用的进程

• driver可以运行在master上，也可以运行worker上
  提交应用与分配应用不同

• excutor宿主在worker节点上，多个excutor可以宿主在同一个worker节点上

问题：为什么driver和excutor已经可以分解任务和执行任务，还需要master和worker？
master和worker负责资源的分配和集群的监控，和管理任务的运行。

参考资料：
Spark中master、worker、executor和driver的关系