21-23 Schedule/Event(出错)/Tumbing
2023-11-20 本文已影响0人
山猪打不过家猪
21 Schedule Trigger
创建一个schedule trigger
image.png
22 Create Storage Event Trigger (出错)
- 通过event trigger 使得指定文件 例如 fxx开头的.txt文件只要 一上传到blob的folder下，出发trigger，将其copy到archieve的文件夹里（或者其他处理）
流程梳理：
- 创建一个copy的pipeline
-
在source 里 创建一个新的dataset，由于我们的源文件不是具体的一个文件，所以需要将文件的路径和文件名设置为动态的
image.png
3.给pipeline设置需要传递的参数
image.png
4.将3设置好的参数，传递给2的dataset
image.png
5.设置sink，完成后，使用debug可以看到，pipeline创建完成
image.png
6.设置Storage event 自动传递参数给pipeline，每当有com开头的文件传入到指定的container里，自动运行pipeline
7.设置storage event trigger
image.png
8.设置好后，填入trigger的动态参数
image.png
23 Tumbling trigger（）
主要用于加载历史数据和增量load
