12-17 多csv到多表/deleteMap删除文件
2023-11-18 本文已影响0人
山猪打不过家猪
12 Load多个csv到 多个sql table里
"Get Metadata" 活动是 Azure Data Factory 中的一个非常有用的活动，可帮助您获取数据集的元数据信息，以便在数据工作流中进行更精确的控制和决策。这对于构建复杂的数据集成和转换流程非常重要。
16. Delete Files from Different Blob using mapping tables
- 创建mapping table用来控制哪个文件夹下面的哪个类型的文件
create table dbo.DeleteMap(id int, foldername varchar(100),wildcard varchar(10))
go
insert into dbo.DeleteMap values(1,'input','*.txt')
insert into dbo.DeleteMap values(1,'output','*.xlsx')
insert into dbo.DeleteMap values(1,'archieve','*.csv')
image.png
- 使用lookup读取delete mapping表中信息
image.png
- 循环上面得到的信息
image.png
-
在循环内部添加一个delete，设置delete 的link service，这里不需要选择任何文件夹，因为我们需要从上面的mapping table里动态获取文件夹的名称。
image.png
-
添加动态参数，分别获取文件夹的名称foldername和wildcard的后缀
image.png
