数据仓库工具箱—ETL34个子系统

2022-07-06  本文已影响0人  熊猫学猿

子系统11:层次管理器

在维度中通常具有多个同时存在的、嵌入的层次结构。这些层次属性的形式简单地共存于同一个维度表中。作为维度主键的属性必须具有单一值。层次可以是固定的也可能是参差不齐的。固定深度的层次具有一致的层次号,简单地将其建模并将不同的维度属性添加到每个层次上

子系统12:特定维度管理器

1、日期/时间维度

日期/时间维度是唯一一种在数仓项目开始时就完整定义的维度,它们没有约定的来源

2、杂项维度

杂项维度涉及那些从事实表中删除所有关键属性后遗留下来的文本和繁杂的标识

3、微型维度

例如客户维度,跟踪维度属性变化的技术

4、缩减子集维度

缩减维度是一种一致性维度,其行与/或列是基维度的子集

5、小型静态维度

某些维度可能由ETL系统在没有真实的外部来源的情况下建立的。这些维度通常是小型的查询维度

6、用户维护的维度

适当的业务用户部门负责维护属性的维度表

子系统13:事实表建立器

1、事务事实表加载器

事务粒度表示一种以特定时刻定义的度量事件。事务事实表加载器从变化数据获取系统接收数据并以适当的维度外键进行加载

2、周期快照事实表加载器

周期快照粒度表示一种常规重复的度量或度量集合,该事实表还包含一个单一日期列,表示整个周期。周期快照的事实必须满足粒度需求,仅描述适合于所定义周期的时间范围的度量

3、累积快照事实表加载器

累积快照粒度表示一个有明确的开始和结束的过程的当前发展状态。通常,这些过程持续时间较短,因为无法将它归类到周期快照中

子系统14:代理键流水线

所有ETL系统都包含一个将输入事实表行的操作型自然键替换为适当的维度代理键的步骤。事实表的每个外键,都在对应的维度表中有一个入口

子系统15:多值维度桥接表建立器

有时事实表必须支持具有多值的最低粒度事实表的维度。如果无法改变事实表的粒度以直接支持这种维度,则必须采用桥接表来实现多值维度与事实表的连接

子系统16:迟到数据处理器

对标准的处理过程进行特殊的修改以处理迟到的事实

子系统17:维度管理器系统

负责为数据仓库社团准备和发布一致性维度。一致性维度是一种被集中管理的资源,每个一致性维度必须具有单一的一致性的来源。在组织中管理并发布一致性维度是维度管理器的责任

上一篇下一篇

猜你喜欢

热点阅读