业务数仓理论与搭建

# 表的分类

1.实体表

现实存在的业务对象。

2.维度表

对应一些业务状态，编号的解释表。

3.事务性事实表

随着业务发生不断产生的数据，一旦发生不会再变化。

4.周期性事实表

随着业务发生不断产生的数据。

# 表的同步策略

全量表，增量表，新增及变化表

1.实体表同步策略

每日全量

2.维度表同步策略

每日全量

3.事务型事实表同步策略

每日增量表，即每日创建一个分区存储。

4.周期型事实表同步策略

每日新增及变化量，包括了当日的新增和修改。

# 业务数仓架构图

业务系统rds

maxcompute

rds

quickbi

1.业务表结构

2.业务数仓分层

# rds服务器准备

1.rds服务器购买

2.rds服务器配置

# 创建业务数据库及表

# ods层数据表创建

# 数据同步

1.建立数据同步节点

2.每日全量表同步

3.每日增量表同步

4.每日及变化表同步

5.ods层调度

# dwd层

对ods层数据进行一定清洗加工，把原本关系型表结构进行一定程度的维度退化。

1.建表语句

2.手动导入dwd层

3.数据导入脚本

# dws层

针对明细粒度的数据进行短周期的汇总。面向分析对象的主题聚集建模。

1.建标语句

2.手动导入dws层

3.数据导入脚本

# ads层

1.建表语句

2.手动导入ads层

3.数据导入脚本

# 作业调度