数仓架构图

2023-07-25  本文已影响0人  liuxiaolin

阿里巴巴的数据团队把表数据模型分为三层 :操作数据层( ODS )、
公共维度模型层( DM )和应用数据层( DS ), 其中公共维度模型层
包括明细数据层( DWD )和汇总数据层( DWS )。模型层次关系如
9.9 所示。


image.png

公共维度模型层( CDM ):存放明细事实数据、维表数据及公共指
标汇总数据 其中明细事实数据、维表数 一般根据 ODS 层数据加工
生成 :公共指标汇总数据 般根据维表数据和明细事实数据加工生成。
CDM 层又细分为 DWD 层和 DWS 层,分别是明细数据层和汇总数
据层,采用维度模型方法作为理论基础 更多地采用 些维度退化手法,
将维度退化至事实表中,减少事实表和维表的关联 ,提高明细数据
易用性 :同时在汇总数据层, 加强指标的维度退化, 采取更多的宽表
手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。其
主要功能如下。
·组合相关和相似数据:采用明细宽表,复用关联计算,减少数据
扫描。
·公共指标统 加工:基于 OneData 体系构建命名规范、口径
和算法统 的统计指标,为上层数据产品、应用和服务提供公共
指标 立逻辑汇总宽表。
建立 致性维度:建立 致的数据分析维表,降低数据计算口径、
算法不统一的风险。
应用数据层( ADS ):存放数据产品个性化的统计指标数据,根据
CD 层与 ODS 层加工生成

其模型架构如图 9.10 所示。阿里巴巴通过构建全域的公共层数据,
极大地控制了数据规模的增长趋势,同时在整体的数据研发效率、成本
节约、性能改进方面都有不错的效果。

image.png
上一篇下一篇

猜你喜欢

热点阅读