Azkaban

2021-12-28  本文已影响0人  无量儿

1、任务流配置(带依赖)
one.job:
type=command
command=sh /big_data/xx.sh
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔,单位为毫秒

two.job:
type=command
dependencies=one
command=sh /big_data/zz.sh
retries=3
retry.backoff=30000

2、邮件发送接收
https://blog.csdn.net/aizhenshi/article/details/80828726

3、Command任务编写、Hive任务编写
https://zhuanlan.zhihu.com/p/22250332?refer=dataeye

4、(踩坑)为了避免用户权限问题,跑任务的是哪个用户,必须要切换到哪个用户启动azkaban,不然的话会出现权限问题!

但是root用户安装,无法用etluser用户启动(permission denied),所以对linux更改目录所属用户和用户组:(https://blog.csdn.net/cccfire/article/details/94019717
将test 及其内部文件所属用户设置成yangyuanliang,所属用户组设置成staff
chown -R yangyuanliang:staff test/

5、(自测)Azkaban 同一层级job不能超过1500个,不然无法正常上传。

6、传参和断点续跑
https://my.oschina.net/u/2988360/blog/1538967/

7、Azkaban 自动打包项目并上传》

8、Azkaban Flow Parameters 参数设置与接收,实现按时间区间执行脚本
https://www.codercto.com/a/49580.html

9、动态传参,传入当前日期(https://blog.csdn.net/helloxiaozhe/article/details/81224501
{azkaban.flow.start.year}-{azkaban.flow.start.month}-${azkaban.flow.start.day}

10、

上一篇 下一篇

猜你喜欢

热点阅读