资源调度YARN
2020-07-07 本文已影响0人
神豪VS勇士赢
image.png
存在问题： 单点故障 ，不容易拓展 共享 spark 等业务。只能跑 mapReduce 作业
image.png
Yarn 产生的背景
image.png
image.png
Yarn 架构图：
image.png
image.png
image.png
YARN 执行流程：
image.png
当客户端有执行调度进入 比如 mapReduce 或者 Spark
1）首先，任务交给 RM RM 随机挑选一个 NM
- NM 在节点启动一个Container 创建AM
- AM 在其他节点上创建 container 执行任务Task
