概述

ODDA模型建成之后，就开始采用Azkaban进行自动化调度。

数据

初始化数据：

mysql
use mall；
CALL init_data('2021-03-31', 300, 200, 300, FALSE);

脚本

在本地编写job文件，打包上传到Azkaban。

• import.job

type=command
do_date=${dt}
command=/home/warehouse/shell/sqoop_import.sh all ${do_date}

• ods.job

type=command
do_date=${dt}
dependencies=import
command=/home/warehouse/shell/ods_db.sh ${do_date}

• dwd.job

type=command
do_date=${dt}
dependencies=ods
command=/home/warehouse/shell/dwd_db.sh ${do_date}

• dws.job

type=command
do_date=${dt}
dependencies=dwd
command=/home/warehouse/shell/dws_db.sh ${do_date}

• ads.job

type=command
do_date=${dt}
dependencies=dws
command=/home/warehouse/shell/ads_sale.sh ${do_date}

• export.job

type=command
do_date=${dt}
dependencies=ads
command=/home/warehouse/shell/sqoop_export.sh all ${do_date}

最后，打包成mall-job.zip 。

Azkaban自动化调度

• 在全部节点上启动Azkaban：

[root@node01 ~]# azkaban-executor-start.sh 
[root@node02 ~]# azkaban-executor-start.sh 
[root@node03 ~]# azkaban-executor-start.sh 

• 启动node03的azkaban的web服务器

cd /opt/app //所有大数据组件都在这里安装
apache-hive-1.2.1-bin  apache-tez-0.9.1-bin  azkaban  hadoop-2.7.7  presto-server-0.196  sqoop-1.4.6.bin__hadoop-2.0.4-alpha

cd /opt/app/azkaban/server/
azkaban-web-start.sh 

• 打开web界面

• 用户名密码admin：admin

  
  web

• 创建项目

  
  创建项目

• 上传mall-job

  
  上传任务脚本

• 展现依赖关系

  
  依赖关系

• 执行流程Execute Flow

  
  Execute Flow Export

• 配置参数

  
  参数

• 执行

  
  执行

• 执行过程

  
  任务列表图形
  任务列表
  日志
• 执行结果

mysql> select * from ads_sale_tm_category1_stat_mn;