用户行为数仓搭建

# 数仓分层概念

1.数仓分层

ods

存放原始数据

dwd

数据清洗

dws

数据汇总

ads

为统计报表提供数据

2.分层优点

复杂问题简单化

减少重复开发

隔离原始数据

3.数仓命名规范

层表前缀ods，dwd，dws，ads

维度表前缀dim

全量表df

增量表di

# 数仓分层配置

1.建立业务流程

2.新建主题

3.层级管理

# 原始数据层ods

1.建表语句

2.配置基本属性

3.配置物理模型

# datahub推送数据到maxcompute

1.创建dataconnector

2.发送数据

3.接收数据

# dwd层日志格式分析

1.日志格式分析

2.自定义udtf

3.dwd层建表

4.手动导入dwd层

5.数据导入脚本