概述

Volcano是一个基于Kubernetes的云原生批量计算平台，也是CNCF的首个批量计算项目。
Volcano 主要用于AI和大数据等诸多高性能计算场景，对主流通用计算框架均有很好的支持。它提供如下能力：

• 高性能计算任务调度
• 异构设备管理
• 任务运行时管理

Volcano架构

1、Volcano全景

Volcano是基于Kubernetes的高性能批量计算平台，目前支持几乎所有的主流计算框架，包括TensorFlow、Kubeflow、MPI、PyTorch、飞浆、Spark等。
Volcano支持的部分计算框架遇到的问题：

• 1）operator部署运维复杂
• 2）不同框架对作业管理、并行计算等要求不同
• 3）计算密集高，资源需求波动大，需要高级调度能力
  Volcano面向主流计算框架提供：
• 1）统一容器基础设施，提高资源利用率
• 2）通用作业管理、队列Fair-share, Gang, bin-pack等高级调度算法
• 3）简化运维管理

2、Volcano整体架构

Volcano整体架构

Volcano的系统架构
Volcano由scheduler、controllermanager、admission和vcctl组成:

• Scheduler Volcano scheduler通过一系列的action和plugin调度Job，并为它找到一个最适合的节点。与Kubernetes default-scheduler相比，Volcano与众不同的 地方是它支持针对Job的多种调度算法。
• Controllermanager Volcano controllermanager管理CRD资源的生命周期。它主要由Queue ControllerManager、 PodGroupControllerManager、 VCJob ControllerManager构成。
• Admission Volcano admission负责对CRD API资源进行校验。
• Vcctl Volcano vcctl是Volcano的命令行客户端工具。
  Volcano利用声明式的CRD定义我们的API，主要有3个核心的API：
• Volcano Job：对高性能任务的通用定义
• PodGroup：提供了Job中Task的管理能力
• Queue：为任务的分类提供了基础
  Volcano 架构的核心组件主要包含三个：
• Admission：对Volcano CRD API提供校验能力；
• ControllerManager：负责对Volcano CRD进行资源管理;
• Scheduler：对任务提供丰富的调度能力。

3、Volcano工作流程

从零开始运行Volcano作业：

• 1）用户创建一个 Volcano 作业
• 2）Volcano Admission 拦截作业的创建请求，并进行合法性校验
• 3）Kubernetes 持久化存储 Volcano Job 到 ETCD
• 4）ControllerManager 通过 List-Watch 机制观察到Job 资源的创建，创建任务（Pod）
• 5）Scheduler 负责任务的调度，绑定 Node
• 6）Kubelet Watch 到 Pod的创建，接管 Pod 的运行
• 7）ControllerManager 监控所有任务的运行状态，保证所有的任务在期望的状态下运行

Volcano核心概念及功能

1、Volcano核心概念

• 1）Queue：Queue的概念源于 Yarn，它是Cluster 级别的资源对象，可为其声明资源配额，也可由多namespace 共享，并且提供 soft isolation
• 2）PodGroup：PodGroup是任务的分组，它与 queue 绑定，占用队列的资源。它与 Volcano Job 是一对一的关系；也可为其声明 Scheduling 条件
• 3）Volcano Job：它是批量计算作业的定义，支持定义作业所属队列、生命周期策略、所包含的任务模板以及持久卷等信息

2、作业管理插件

• svc：提供不同类型任务之间互访能力
• env：任务索引，例如 Tensorflow Worker index
• ssh：ssh 秘钥对创建及挂载，主要供 MPI 作业使用
  -### 3、Scheduler架构
  Scheduler支持动态配置和加载。

4、核心调度算法

• 1）Gang Scheduling
• 2）Fair Share
• 3）Preempt & Reclaim
• 4）Reserve & Backfill
• 5）Topology Aware Scheduling
• 6）GPU Sharing

Volcano 代码目录结构

• cmd目录是Volcano所有组件启动的入口；
• config 是Volcano的配置；
• defs 是安装时的配置；
• docs 是Volcano的设计文档；
• example 提供了简单的例子，hack 提供安装时的脚本；installer 提供安装的模板。
• pkg 是最重要的目录，里面包含了 api、controller、scheduler 、webhook 等代码。
• test 提供了e2e测试用例, vendor是依赖库。

安装部署

1、Volcano Install

Volcano安装部署有多种方式：若已存在K8S集群，建议通过 Helm方式安装部署，该方式支持自定义安装配置；开发者建议通过Development Yaml方式部署。
对于开发者，Volcano已内置一键式安装部署脚本，路径为 volcano. sh/volcano/hack/local-up-volcano. sh。运行该脚本时，默认会使用kind创建 Docker in Docker的模拟集群，并安装部署Volcano。

2、Volcano 组件

正确安装部署后，将生成4个组件，分别为：Volcano-admission、Volcano-admission-init、Volcano-controllers、 Volcano-scheduler ,其中admission-init以作业的方式生成证书。