阿里云离线数仓(一)
2021-03-18 本文已影响0人
冰菓_
学一下阿里云数仓中的部件
1.数据仓库概念
- 数据仓库定义
为企业所有决策制定过程,提供所有系统数据的战略集合 - 数据仓库好处
帮助企业改进业务流程,控制成本,提高产品数量 - 数据仓库做什么
清洗,转换,分类,重组,合并,拆分,统计 - 数据仓库输出到哪
报表系统 用户画像 推荐系统 机器学习 风险控制
2.项目需求和项目设计
项目需求
采集埋点日志数据
采集业务数据库中的数据
数据仓库的搭建(用户行为的数仓 业务数仓)
分析统计业务指标
对结果进行可视化展示
计算框架
DataHub 数据总线(缓冲)
maxcomputer 大数据计算框架
Dataworks 可视化的maxcomputer的开发管理平台
RDS 关系型数据库
QuickBI 可视化数据展示工具
ECS 弹性服务器
技术选型
- 数据采集与传输
- 数据的存储
- 数据的计算
- 数据的可视化展示
系统数据流程设计
系统数据流程设计
服务器选型
物理机还是云主机
集群规模
集群规模
3.数据生成模块
商品列表页
商品列表页
商品曝光
商品曝光
商品详情页
商品详情页
购物车
购物车
广告
广告
消息通知
消息通知
评论
评论
收藏
收藏
错误日志
错误日志
启动日志报告
启动日志报告
