典型的数据仓库建模方法论

2017-08-23 本文已影响0人编程回忆录

ER模型：ER(Entity Relationship)实体关系模型在范式理论上符合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于，它是站在企业角度面向主题的抽象，而不是针对某个具体业务流程的实体对象关系的抽象。所以其具有以下几个特点：

需要全面了解企业业务和数据。
试试周期非常长。
对建模人员的能力要求非常高。
采用ER模型建设数据仓库模型的出发点是整合数据，将各个系统中的数据以整个企业角度按主题进行相似性组合和合并，并进行一致性处理，为数据分析决策服务，但是并不能直接用于分析决策。

采用ER模型建模一般分为三个阶段：

维度模型：从分析决策的需求出发构建模型，为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型，以及在一些特殊场景下使用的雪花模型。其设计分为一下几个步骤：

选择需要进行分析决策的业务过程。业务过程可以是单个业务事件，比如交易的支付、退款等；也可以是某个事件的状态，比如当前的账户余额等；还可以是一系列相关业务事件组成的业务流程，具体需要看我们分析的是某些事件发生情况，还是当前状态，或是事件流转效率。
选择粒度。在事件分析中，我们要预判所有分析需要细分的程度，从而决定选择的粒度。粒度是维度的一个组合。
识别维表。选择好粒度之后，就需要基于此粒度设计维表，包括纬度属性，用于分析时进行分组和筛选。
选择事实。确定分析需要衡量的指标。

Data Vault模型：它是ER模型的衍生，其设计的出发点是为了实现数据的整合，但不能直接用于数据分析决策。

Anchor模型：它对Data Vault模型做了进一步规范化处理，该模型将规范到6NF,基本变成了k-v结构化模型。