数据建模-元数据

元数据定义

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用。记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层次间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。

将元数据按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。阿里巴巴常用的技术元数据有：
A. 分布式计算系统存储元数据，如MaxCompute表、列、分区等信息。记录了表的表名。分区信息、责任人信息、文件大小、表类型，生命周期，以及列的字段名、字段类型、字段备注、是否是分区字段等信息。
B. 分布式计算系统运行元数据，如MaxCompute上所有作业运行等信息；类似于Hive的Job日志，包括作业类型、实例名称、输入输出、SQL、运行参数、执行时间、最细粒度的Fuxi Instance（MaxCompute中MR执行的最小单元）执行信息等。
C. 数据开发平台中的数据同步、计算任务、任务调度等信息，包括数据同步的输出输出表和字段，以及同步任务本身的节点信息；计算任务主要有输入输出、任务本身的节点信息；任务调度主要有任务的依赖类型、依赖关系等，以及不同类型调度任务的运行日志等。
D. 数据质量和运维相关元数据，如任务监控、运维报警、数据质量、故障等信息，包括任务监控运行日志、告警配置及运行日志、故障信息等。

业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库串的数据。阿里巴巴常用的业务元数据有：
1.OneData元数据，如维度及属性，业务过程、指标等的规范化定义，用于更好地管理和使用数据。
2.数据应用元数据，如数据报表、数据产品等的配置和运行元数据。

元数据的价值

元数据有重要的应用价值，是数据管理、数据内容、数据应用的基础，在数据管理方面为集团数据提供在计算、存储、成本、质量、安全、模型等治理领域上的数据支持。例如在计算上可以利用元数据查找超长运行节点，对这些节点进行专项治理，保障基线产出时间。在数据内容方面为集团数据进行数据域、数据主题、业务属性等的提取和分析提供数据素材。例如可以利用元数据构建知识图谱，给数据打标签，清楚地知道现在哪些数据。在数据应用方面打通产品及应用链路，保护产品数据准确、及时产出。例如打通MaxCompute和应用数据，明确数据资产等级，更有效地保障产品数据。

参考

阿里巴巴《大数据之路》