Oozie 介绍
2018-03-27 本文已影响30人
明明德撩码
Hadoop 调度框架
- Linux Crontab
- Azkaban
https://azkaban.github.io/ - Oozie
http://oozie.apache.org/ - Zeus
https://github.com/michael8335/zeus2
Azkaban, Open-source Workflow Manager
![](https://img.haomeiwen.com/i4176128/dbd875d76b1cd1ac.png)
Oozie, Workflow Engine for Apache Hadoop
![](https://img.haomeiwen.com/i4176128/d2cf737a4ce83c1f.png)
Zeus2, Hadoop job work flow schedule
![](https://img.haomeiwen.com/i4176128/c1addae5d0b0bb44.png)
Apache Oozie Workflow Scheduler for Hadoop
- 一个基于工作流引擎的开源框架,是由Cloudera公司贡献给Apache的,它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
- Oozie工作流定义,同JBoss jBPM提供的jPDL一样,也提供了类似的流程定义语言hPDL,通过XML文件格式来实现流程的定义。对于工作流系统,一般都会有很多不同功能的节点,比如分支、并发、汇合等等。
- Oozie定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes),其中控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
WordCount Workflow Example
![](https://img.haomeiwen.com/i4176128/f4a2497fa86b0d28.png)
![](https://img.haomeiwen.com/i4176128/31b3036ec42006dc.png)
Oozie, Workflow Engine for Apache Hadoop
![](https://img.haomeiwen.com/i4176128/c4ac17c39bc97912.png)
-
Oozie Workflow
-
Lifecycle of an Oozie coordinator
-
Oozie Bundle
image.png
Oozie Server Architecture架构图
![](https://img.haomeiwen.com/i4176128/f66c6110e531e11d.png)
Oozie server components 服务组件
![](https://img.haomeiwen.com/i4176128/cbe9e9980d533bd4.png)