读书笔记-数据中台实战
2020-06-09 本文已影响0人
clever哲思
- 对于业务口径不一致问题: 要实现⼀致,就务必确保对同⼀个指标,只有⼀个业务⼝径,只加⼯⼀ 次,数据来源必须相同。
- 要解决数据需求响应慢,就必须解决数据复⽤的问题,要确保相同数据只加 ⼯⼀次,实现数据的共享
- 要解决数据质量差,就要及时发现然后快速恢复数据问题
- 那么数据中台是怎么实现所有数据只加⼯⼀次的呢?简单来说,就是对于数仓数 据,我们要求相同粒度的度量或者指标只加⼯⼀次,构建全局⼀致的公共维表。要 实现上述⽬标,需要两个⼯具产品:
⼀个是数仓设计中⼼,在模型设计阶段,强制相同聚合粒度的模型,度量不能 重复。 另外⼀个是数据地图,⽅便数据开发能够快速地理解⼀张表的准确含义。 - one data 怎么做才能实现数据只加⼯⼀次:
- 按主题域划分表
- 表的命名进⾏规范化统⼀, 表的名称中最好能够携带表的主题 域、业务过程、分层以及分区信息
- 元数据划为三类:数据字典、数据⾎缘和数据特征
- 解决指标混乱现状: