第三课：数据仓库

一、数仓特点

面向主题的：特定目的

集成的：整合多个来源

随时间变化的：可以有状态变化

信息相对稳定的：数据入库后，查询频率远大于修改

二、技术要求

1 构建思想

    自上而下：建立一个统一的数据中心，从中挖掘业务

    自下而上：根据实际业务需求，构建数据仓库

2 ETL

    用户从数据源抽取出所需数据，经过数据清洗、转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

    数据仓库中最重要的概念之一，需要花费整个项目一半以上的时间。    

3 存储和表设计原则

    包括表和路径命名原则和数据生命周期管理

三、相关概念

1 原数据

    表的定义数据，表的属性表。包含表名、路径、行列信息等。

2 OLAP-联机分析处理

    一种软件技术，使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

    主要概念包括：多维观察、数据钻取、cube运算

多维观察

    维度：分析角度，即变量X集合。

    度量：度量指标，事实。即所要观察的Y值。

cube运算

    切片：固定某个维度，来对数据进行分析（比如只分析4月份）

    切块：同时限制多个维度来分析（如4月份的北京）

    钻取：同一纬度上放大缩小范围。

        向上钻取：到高纬度查看抽象（如从月份数据到年份数据）

        向下钻取：到低纬度看细节（如从月份数据到天份数据）

    旋转：改变观察角度（自变量的XY轴）

3 数据库设计模型

    星型：关系型设计思想，尽量只发散一级关系

    雪花模型：多级关系数据库

四、技术架构

1 好架构设计的标准

    结构层次清晰、数据质量有保障、易扩展、易用

2 功能架构

    自下而上：采集中心（采集、校验等）、存储与计算中心（计算、建模、流处理）、服务中心（数据共享）、应用中心（用户画像、位置服务）、访问中心（WEB、APP），全程的管控中心（运营、数据、系统）

3 数据架构

    自下而上：原数据（结构化、非结构化、流式）、采集中心（ETL）、存储与计算中心（对数据的存储和计算）、服务中心（数据加密、脱敏等）、数据访问（报表、实时分析）

4 技术架构

     自下而上：采集中心（爬虫、日志等）、存储与计算中心（批处理平台、流处理平台）、服务中心（API）、应用中心（webservice）、访问中心（CLI、html5），全程的管控中心（yarn）