YARN 调度策略
2017-05-07 本文已影响0人
乔毅_HZ
capacity scheduler
-
设计思想
- 通过比例来规划整个集群的资源使用
- 支持调度队列间的弹性资源使用
- 增加各种限制,避免队列、应用利用队列间的资源弹性能力而独占整个集群资源
-
队列(Queue)
- 以队列(Queue)作为调度单位
- 通过队列来规划整个集群的容量
- 支持层级的方式组织队列;root队列, leaf队列。其中leaf队列中包含了当前active的Application
-
资源分配策略
- 策略
- 队列间选择策略:资源使用率低者优先 不同的资源比较器对于资源定义不一样(DefaultResourceCalculator只考虑MEM, DominantResourceCalculator同时考虑CPU/MEM)
- leaf队列内选择策略(Application选择策略):按照提交时间FIFO
- Application队列内选主响应哪个ResourceRequest
- 流程
- 从root队列开始,依据子队列的资源使用率递归选择最小的,直到leaf队列。
- 确定leaf队列后,依据Application的 ApplicationID,选择最小的Application来分配资源。(根据应用的提交时间进行FIFO)
- 确定Application后,根据优先级、locality perference(node、rack、no-local)、资源规格和数量的顺序来确定响应那个ResourceRequest
- 策略
-
特点
- 支持多租户(通过层级的调度队列这个抽象来实现)
- 保证调度单位最少可用资源(通过定义队列的capacity来实现)
- 支持队列间资源弹性使用,即当一个队列可用资源有剩余时,可以暂时将剩余资源共享给其他有需求的队列
- 支持多重约束,避免因资源弹性的特性,造成单个Application或者队列独占整个集群的资源
-
主要配置
- 队列的soft、hard capacity
- capacity:队列的最小资源容量(百分比)。以此实现集群的资源规划
注意,所有队列的容量之和应小于100 - maximum-capacity:队列的资源使用上限。避免队列间资源弹性使用造成的独占资源问题
- capacity:队列的最小资源容量(百分比)。以此实现集群的资源规划
- 用户限制
- minimum-user-limit-percent:每个用户最低资源保障(百分比)
- user-limit-factor:每个用户最多可使用的资源量(百分比)
- Application限制
- 队列的soft、hard capacity