ETL过程的数据清洗和整合

子系统五：错误事件处理系统

主要目的是记录ETL流水线过程中所有质量单元出现的错误时间。也可用于其他应用之间传输数据的集成应用中。
如图：

错误事件模式

错误事件事实表：
    主表。包含错误日历日期，错误产生的批处理作业以及产生错误的单元模块。
    每个错误在表中用一行表示。
    包含一个单列的主键，作为错误时间的键。
批处理维度:
    可以泛华为针对数据流的处理步骤，而不仅仅是针对批处理。
错误事件细节事实表：
    每行确定与错误有关的某个特定记录的个体字段。因此某个高级别的错误事件事实表中的一行激活的复杂结构或业务规则对应错误细节事实表中的多行。

子系统六：审计系统

审计维度用于后端装配ETL系统的每个事实表。
在货运事实表将按照批处理文件每天更新一次，假设一天的工作顺利进行没有产生错误标记，此时将建立唯一的一行审计维度，将被附加到今天所加载的所有事实行。所有的分类，分数，版本号都将相同

审计系统

假设出现异常情况，则需要不止一个审计维度行用于标记这一情况。

子系统七：重复数据处理系统

重复数据删除：需要考虑保留那些数据
匹配和数据保留：按照来自所有可能源系统的列值并且清楚的定义了优先顺序的业务规则，用于确保每个存在的行具有最佳的保留属性。

子系统八：一致性系统

一致性处理包含所有需要调整维度中的一些或者所有列的内容以与数据仓库中其他相同或者类似的维度保持一致的步骤。

一致性维度构建的重复数据删除和数据保留过程

建立一致性维度的过程需要采用敏捷方法，对两个需要一致性处理的维度，他们必须至少有一个具有相同名称和内容的公共属性。

---

数据僧 历史文章

数据仓库-概述-读书笔记一
数据仓库-DW/BI架构对比-读书笔记二
数据仓库-事实表/维度表技术-读书笔记三
维度处理-数据仓库-读书笔记(四)
数据仓库-高级事实表技术-读书笔记五
数据仓库-高级维度表技术-读书笔记六
数据仓库，零售业务举例，维度模型设计4步骤，读书笔记（七）
数据仓库-零售业务举例维度表设计细节-读书笔记（八）
数据仓库-零售业务举例如何提高仓库扩展能力-读书笔记（九）
数据仓库-零售业务中库存如何设计-读书笔记(十)
如何使用缓慢变化维技术
数据仓库-订单管理应该注意那些
ETL中前期数据分析、变化数据探测，数据获取 注意事项
数据仓库基础概念分享

---

数据僧 参考资料

数据仓库工具箱

---

如果您觉得我用心了，觉得您有所收获，麻烦关注下我吧，您的关注就是我的动力，因为有你，我就不是一个人在前行。

数据僧