技术选型-分布式任务调度系统

前言：该博客主要是记录自己学习的过程，方便以后查看，当然也希望能够帮到大家。

调研：

1. 现在的开源调度系统分为两类：以Quartz为代表的定时类调度系统和以DAG为核心的工作流调度系统。

2. 首先看看定时类调度系统，它们的设计核心是定时运行、数据分片和弹性扩容，但是对依赖关系支持的不太友好，更适用于后端业务开发 。

3. 数据团队最常见的操作是的 ETL （抽取、转换和加载数据），更强调的是任务的依赖关系，所以关注点便是以DAG为核心的工作流调度系统了。

以Quartz为代表的定时类调度系统（挑选比较流行的）

Elastic-Job：是由当当网基于quartz 二次开发之后的分布式调度解决方案，由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。定位为轻量级无中心化解决方案，使用 jar 包的形式提供分布式任务的协调服务。支持分布式调度协调、弹性扩容缩容、失效转移、错过执行作业重触发、并行调度、自诊断和修复等等功能特性。

Xxl-Job：是大众点评员工徐雪里于2015年发布的分布式任务调度平台，是一个轻量级分布式任务调度框架，支持通过 Web 页面对任务进行 CRUD 操作，支持动态修改任务状态、暂停/恢复任务，以及终止运行中任务，支持在线配置调度任务入参和在线查看调度结果。

Saturn：是唯品会基于elastic-job开发的分布式定时任务调度框架，能够实现集中化统一配置、基于exector负载的任务分片调度、任务监控告警及api任务管理等平台功能，更重要的是其还支持docker，同时saturn（开源版本）中的任务不仅支持java，还支持shell脚本。

PowerJob：（原OhMyScheduler）是全新一代分布式调度与计算框架，支持CRON、API、固定频率、固定延迟等调度策略，提供工作流来编排任务解决依赖关系，使用简单，功能强大，文档齐全。

以DAG为核心的工作流调度系统（挑选比较流行的）

Apache DolphinScheduler：DolphinScheduler曾用名为“EasyScheduler”，由易观开发，美国时间2019年8月29日，正式通过顶级开源组织Apache基金会的投票决议，以全票通过的优秀表现正式成为Apache孵化器项目。是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Apache Oozie：由Cloudera公司贡献给Apache的基于工作流引擎的开源框架，是用于Hadoop平台的开源的工作流调度引擎，用来管理 Hadoop 任务。Oozie 是基于 XML 格式进行开发的，后续集成到 Hue 里可以可视化配置，但是缺点也很明显，版本管理、日志收集都不太友好，开发灵活性很差，可调度的任务也很少，另外定义过于复杂，维护成本很高。当然最核心还是没有共用变量和共用连接信息的概念。

Apache Airflow：是Airbnb开源的一款数据流程工具，已经在Apache孵化成功，成为Apache的顶级项目。以非常灵活的方式来支持数据的ETL过程，同时还支持非常多的插件来完成诸如HDFS监控、邮件通知等功能。Airflow支持单机和分布式两种模式，支持Master-Slave模式，支持Mesos等资源调度，有非常好的扩展性。

Azkaban：是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。和 Oozie 差不多，缺点也很明显，最核心的问题还是没有共用变量和共用连接信息的概念。

以Quartz为代表的定时类调度系统对比

以DAG为核心的工作流调度系统对比

后记：本次分享到此结束，本人水平有限，难免有错误或遗漏之处，望大家指正和谅解，欢迎评论留言。