Azkaban
1、任务流配置(带依赖)
one.job:
type=command
command=sh /big_data/xx.sh
retries=3 #失败重试3次
retry.backoff=30000 #每次重试间隔,单位为毫秒
two.job:
type=command
dependencies=one
command=sh /big_data/zz.sh
retries=3
retry.backoff=30000
2、邮件发送接收
https://blog.csdn.net/aizhenshi/article/details/80828726
3、Command任务编写、Hive任务编写
https://zhuanlan.zhihu.com/p/22250332?refer=dataeye
4、(踩坑)为了避免用户权限问题,跑任务的是哪个用户,必须要切换到哪个用户启动azkaban,不然的话会出现权限问题!
但是root用户安装,无法用etluser用户启动(permission denied),所以对linux更改目录所属用户和用户组:(https://blog.csdn.net/cccfire/article/details/94019717)
将test 及其内部文件所属用户设置成yangyuanliang,所属用户组设置成staff
chown -R yangyuanliang:staff test/
5、(自测)Azkaban 同一层级job不能超过1500个,不然无法正常上传。
6、传参和断点续跑
https://my.oschina.net/u/2988360/blog/1538967/
8、Azkaban Flow Parameters 参数设置与接收,实现按时间区间执行脚本
https://www.codercto.com/a/49580.html
9、动态传参,传入当前日期(https://blog.csdn.net/helloxiaozhe/article/details/81224501)
{azkaban.flow.start.month}-${azkaban.flow.start.day}
10、