Spark知识点

提交Application的两种方式

2017-12-31  本文已影响0人  0_9f3a

一.提交Application的两种方式分别是client方式和cluster方式
1.client方式
这种方式,Driver进程是在client端启动
启动代码样例

spark -submit --master spark://hadoop1:7077 --class jarPath 

2.cluster方式
这种当时Driver进程不在client端启动,而是在及群众随机一个Worker节点上启动
启动代码样例

spark -submit --master spark://hadoop1:7077 --deploy -mode cluster --class jarPath

二.为什么要有两种提交方式
client用于测试环境不适于生产环境
原因:测试时在客户端上可以提交jar包也可以看到运行的结果。但是频繁提交应用程序会与集群会有大量的通信,占用网卡流量,所以不适于在生产环境应用。

cluster用于生产环境不适用于测试环境
原因:每次提交程序会随机选择一个Worker节点,这样网卡流量集中的问及就解决了。

三.Driver进程与Spark集群的通信种类
1.申请资源
2.Executor启动完毕后,会向Driver反向注册
3.Driver在分发task的时候
4.Executor进程与Driver进程有心跳机制(顺便说一下,在Spark集群中的心跳是Worker向Master发送)

上一篇下一篇

猜你喜欢

热点阅读