Spark知识点

Spark执行流程

2017-12-31  本文已影响0人  0_9f3a
image.png

1.当执行“spark -submit --master spark......”这个命令之后,在客户端中启动一个Driver进程。
2.在FTP服务器上就会产生这个进程的jar以及所依赖的jar包。
3.客户端中的Driver进程会向Master申请资源。Master会找到资源充足的Worker节点,在Worker节点上启动Exectuor进程。
Executor进程:是一个JVM进程,在这个进程中有一个Threadpool在这个线程池中能够执行task(thread)。
4.Executor进程启动完毕后,会反向注册给Driver进程。这样Client节点的Driver进程会有一批Executor列表。
5.最后Client节点的Driver进程会向Worker节点的Executor分发task。

上一篇 下一篇

猜你喜欢

热点阅读