Azkaban安装部署及使用

2019-09-29 本文已影响0人吃货大米饭

一、介绍

Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架.
如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架，一般用crontab+shell,但crontab+shell虽然简单易用，但也有明显的缺点，如任务的依赖处理、任务监控、任务流的可视化等，就需要一个调度框架来统一。
常见的任务调度框架有Apache Oozie、LinkedIn Azkaban、Apache Airflow、Alibaba Zeus,由于Azkaban具有轻量可插拔、友好的WebUI、SLA告警、完善的权限控制、易于二次开发等优点，也得到了广泛应用。
本文以Azkaban为例，总结Azkaban基本原理，以及三种模式的部署和测试使用。

二、架构

三、Azkaban三个关键组件的作用

Relational Database：存储元数据，如项目名称、项目描述、项目权限、任务状态、SLA规则等。
AzkabanWebServer：项目管理、权限授权、任务调度、监控executor。
AzkabanExecutorServer：作业流执行的Server。

四、Azkaban三种部署模式

solo-server模式

DB使用的是一个内嵌的H2，Web Server和Executor Server运行在同一个进程里。这种模式包含Azkaban的所有特性，但一般用来学习和测试。

two-server模式

DB使用的是MySQL，MySQL支持master-slave架构，Web Server和Executor Server运行在不同的进程中。

分布式multiple-executor模式

DB使用的是MySQL，MySQL支持master-slave架构，Web Server和Executor Server运行在不同机器上，且有多个Executor Server。

五、Azkaban三种模式安装前准备

Azkaban3.x在安装前需要自己编译成二进制包。

编译环境

[root@hadoop000 ~]# yum install -y git    
[root@hadoop000 ~]# yum install -y gcc-c++

下载源码&解压

[hadoop@hadoop000 source]$ wget https://github.com/azkaban/azkaban/archive/3.77.0.tar.gz
[hadoop@hadoop000 source]$ mv 3.77.0.tar.gz azkaban-3.77.0.tar.gz
[hadoop@hadoop000 source]$ tar -zxvf azkaban-3.77.0.tar.gz

编译

#加速编译
[hadoop@hadoop000 wrapper]$ wget https://services.gradle.org/distributions/gradle-4.6-all.zip
[hadoop@hadoop000 wrapper]$ vi gradle-wrapper.properties 
#distributionUrl=https\://services.gradle.org/distributions/gradle-4.6-all.zip
distributionUrl=gradle-4.6-all.zip
[hadoop@hadoop000 azkaban-3.77.0]$ ./gradlew build installDist -x test #Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具。-x test 跳过测试

编译后生成的安装包路径

#solo-server模式安装包路径
[hadoop@hadoop000 azkaban-3.77.0]$ ll azkaban-solo-server/build/distributions/
total 46896
-rw-rw-r-- 1 hadoop hadoop 23943674 Sep 19 11:02 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
-rw-rw-r-- 1 hadoop hadoop 24074564 Sep 19 11:02 azkaban-solo-server-0.1.0-SNAPSHOT.zip
#two-server模式和multiple-executor模式web-server安装包路径
[hadoop@hadoop000 azkaban-3.77.0]$ ll azkaban-web-server/build/distributions/
total 39320
-rw-rw-r-- 1 hadoop hadoop 20069956 Sep 19 10:52 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
-rw-rw-r-- 1 hadoop hadoop 20191090 Sep 19 10:52 azkaban-web-server-0.1.0-SNAPSHOT.zip
#two-server模式和multiple-executor模式exec-server安装包路径
[hadoop@hadoop000 azkaban-3.77.0]$ ll azkaban-exec-server/build/distributions/
total 30924
-rw-rw-r-- 1 hadoop hadoop 15829566 Sep 19 11:01 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
-rw-rw-r-- 1 hadoop hadoop 15834766 Sep 19 11:01 azkaban-exec-server-0.1.0-SNAPSHOT.zip

六、solo-server模式部署

节点规划

Host	角色
node1	Web Server和Executor Server同一进程

TODO....

七、two-server模式

节点规划

Host	角色
node1	web‐server和exec‐server不同进程
node2	mysql

解压web‐server和exec‐server

[hadoop@hadoop000 distributions]$ tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /home/hadoop/app/
[hadoop@hadoop000 distributions]$ tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /home/hadoop/app/

将Azkaban源码中的create-all-sql脚本拷贝到Mysql所在机器
这里由于只有一台机器所以就用不同用户演示

# /usr/local/mysql/ 是我mysqladmin的home目录
[root@hadoop000 azkaban-db]$ cp /home/hadoop/source/azkaban-3.77.0/azkaban-db/build/install/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql /usr/local/mysql/
#修改下文件所属用户用户组
[root@hadoop000 mysql]# chown mysqladmin:dba create-all-sql-0.1.0-SNAPSHOT.sql

Mysql上创建对应的库、增加权限、创建表

mysql> create database azkaban;# 创建数据库
mysql> use azkaban;
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';#创建用户
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;#给用户授权
mysql> source create-all-sql-0.1.0-SNAPSHOT.sql;##执行创建脚本

设置web‐server

[hadoop@hadoop000 conf]$ vi azkaban.properties
default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=hadoop000
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

添加azkaban.native.lib=false 和 execute.as.user=false属性

[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ mkdir -p plugins/jobtypes
[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ cd plugins/jobtypes/
[hadoop@hadoop000 jobtypes]$ vi commonprivate.properties
azkaban.native.lib=false
# 设置为true，才可以使用系统用户提交任务
execute.as.user=false

设置executor‐server

[hadoop@hadoop000 conf]$ vi azkaban.properties 
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://hadoop000:8081
mysql.port=3306
mysql.host=hadoop000
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

启动executor‐server,web-serrver

[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ bin/start-web.sh 
[hadoop@hadoop000 azkaban-exec-server-0.1.0-SNAPSHOT]$ bin/start-exec.sh
[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ jps
3057 NameNode
3157 DataNode
7256 Jps
7240 AzkabanWebServer
3357 SecondaryNameNode
7183 AzkabanExecutorServer

添加azkaban.native.lib=false 和 execute.as.user=false属性

[hadoop@hadoop000 azkaban-exec-server-0.1.0-SNAPSHOT]$ mkdir -p plugins/jobtypes
[hadoop@hadoop000 azkaban-exec-server-0.1.0-SNAPSHOT]$ cd plugins/jobtypes/
[hadoop@hadoop000 jobtypes]$ vi commonprivate.properties
azkaban.native.lib=false
# 设置为true，才可以使用系统用户提交任务
execute.as.user=false

测试带有依赖的任务
A、创建一个文件夹

B、创建一个文件叫flow20.project内容为azkaban-flow-version: 2.0
C、创建一个文件叫basic.flow
c、如果需要接受参数，则

config:
    param.date: ${1}

后面就直接用${param.date}就行了

nodes:
  - name: jobC
    type: command
    config:
      command: echo "JobC"
    # jobC depends on jobA and jobB
    dependsOn:
      - jobA
      - jobB

  - name: jobA
    type: command
    config:
      command: echo "JobA"

  - name: jobB
    type: command
    config:
      command: echo "JobB"

D、打成zip包

E、创建project、上传zip包

首次运行是可能的报错

ERROR [ExecutorServlet] [Azkaban] executor became inactive before setting up the flow 1
azkaban.executor.ExecutorManagerException: executor became inactive before setting up the flow 1

需要手动去激活一下 executor，方式如下：

curl http://${executorHost}:${executorPort}/executor?action=activate
[hadoop@hadoop000 conf]$ curl http://hadoop000:37516/executor?action=activate                
{"status":"success"}

配置文件格式参考博客
https://blog.csdn.net/m0_37809146/article/details/91127759

八、分布式multiple-executor模式

节点规划

Host	角色
node1	web‐server和exec‐server不同进程
node2	mysql
node3	exec-server

TODO......

九、Azkaban jobTypes 插件安装和各种类型的Job编写