任务划分 和 Stage划分
2019-08-06 本文已影响0人
yayooo
- Application: 当前应用程序(Driver)| 初始化一个SparkContext即生成一个Application
- Job:一个Action算子就会生成一个Job
- Stage: 根据RDD之间的依赖关系的不同将Job划分为不同的stage
- Task:Stage是一个TaskSet,将Stage划分的结果发送到不同的Executor执行即为一个Task。
宽依赖是划分Stage的依据。
Stage划分