YARN产生背景

运维成本

如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理这些集群，进而增加运维成本，而共享模
式通常需要少数管理员即可完成多个框架的统一管理。

数据共享

随着数据量的暴增，跨集群间的数据移动不仅需花费更长的时间，且硬件成本也会大大增加，而共享集群模式可让多种框架共享数据和硬件资源，将大大减少数据移动带来的成本。

计算资源共享

离线批处理任务主要集中在凌晨执行，资源使用有明显的波峰波谷
交互式数据分析，资源使用主要集中在工作日的上班时段
实时流计算、图计算、数据模型训练等各种类型的计算任务需要不同的CPU、内存等计算资源

YARN主要功能

1、集群资源管理系统
2、负责集群的统一管理和调度
3、与客户端交互，处理客户

YARN基本结构

YARN结构.jpg

YARN核心组件

ResourceManager

• 整个集群只有一个Master
• 处理客户端请求
• 启动/监控ApplicationMaster
• 监控NodeManager
• 资源分配和调度

NodeManager

• 集群中存在多个，每个节点一个，和Datanode部署在同一机器中
• 单个节点上的资源监控和管理
• 定时向ResourceManager汇报本机的资源使用情况
• 处理来自ResourceManager的请求，为作业的执行分配Container
• 处理来自ApplicationMaster的请求，启动和停止Container

ApplicationMaster

• 每个应用程序只有一个，负责应用程序的管理，资源申请和任务调度。
• 与ResourceManager协商为应用程序申请资源
• 与NodeManager通信启动/停止任务
• 监控任务运行状态和失败处理

Container

• 任务运行环境的抽象，只有在分配任务的时候才会抽象出一个Container。
• 描述一系列信息
• 任务运行资源（节点、内存、 CPU）
• 任务启动命令
• 任务运行环境

YARN容错性

ResourceManager

基于Zookeeper实现高可用

NodeManager（简称NM）

NM故障将导致运行在该节点的任务失败，任务失败后， RM将失败任务通知对应的AM
AM决定如何处理失败的任务

ApplicationMaster（简称AM）

AM失败后，由RM负责重启
AM会保存已经运行完成的Task，重启后无需重新运行

未完待续。。。