Spark执行流程

1.当执行“spark -submit --master spark......”这个命令之后，在客户端中启动一个Driver进程。
2.在FTP服务器上就会产生这个进程的jar以及所依赖的jar包。
3.客户端中的Driver进程会向Master申请资源。Master会找到资源充足的Worker节点，在Worker节点上启动Exectuor进程。
Executor进程：是一个JVM进程，在这个进程中有一个Threadpool在这个线程池中能够执行task（thread）。
4.Executor进程启动完毕后，会反向注册给Driver进程。这样Client节点的Driver进程会有一批Executor列表。
5.最后Client节点的Driver进程会向Worker节点的Executor分发task。