SparkContext初始化综述

一、初始流程

初始化流程图.png

二、核心元素
1、SparkConf
作为SparkContext构造函数中最重要的入参

2、SparkEnv
基于SparkConf创建SparkEnv，主要包含以下关键性组件：BlockManager、MapOutputTracker、ShuffleFetcher、ConnectionManager

3、SchedulerBackend
根据Master环境变量来判断Spark当前的部署方式，生成相应的SchedulerBackend的不同子类，并作为属性设置到TaskScheduler中

4、TaskScheduler
后续的Task分发、管理者

5、DAGScheduler
(a)维护waiting stages、active stages和failed stages，以及与jobs的映射关系
(b)切分stage

6、WebUI

三、元素协作图

作业提交过程.png