spark的执行
2020-08-14 本文已影响0人
舟舟洋
1.spark驱动器是执行开发程序中的 main方法的进程
2.Driver在执行任务时候执行一下操作
1）把用户程序转为任务：程序 >> task；执行逻辑优化，多个操作合并到一个stage(由多个task组成)
2）跟踪Executor的运行状况
3）为执行器节点调度任务：分配数据
4）UI展示应用运行状况：把运行内容通过网页展示出来
2.Executor
为执行任务而产生
1）执行任务，返回结果
2）储存RDD
