Spark架构

目录

• 模块架构

• 集群架构

• 运行流程

模块架构

spark-arch-01.png

集群架构

spark-arch-02.png

• Master/Slave

• Driver/Cluster Manager/Work

Driver控制节点

Cluster Manager集群资源管理器

Work工作节点

运行流程

1. 构建Spark Application运行环境 即由任务Driver控制节点创建SparkContext

2. SparkContext根据RDD的依赖关系构建DAG(Directed Acyclic Graph)

3. DAG调度器(DAGScheduler)将DAG分解成多个阶段(Stage) 每个阶段都是一个任务集(TaskSets)

4. DAG调度器(DAGScheduler)通过Cluster Manger将任务(Task)调度到Executor上执行

5. 任务(Task)在Executor上执行 运行完毕后释放所有资源

参考

• Cluster Mode Overview

• StrataSC14-BDAS-Overview