数据治理及资产运营框架结构
略去大数据分析背景与价值部分，言简意赅的介绍如何进行数据资产管理运营。
数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现
管理和运营是一个全流程的事情，首先我们需要知道我们有哪些数据（盘点），转化为能够发挥价值的数据资产（治理），再实现数据应用层面的价值（价值实现），也就是最终要能指导业务产出价值。
数据资产盘点
1.数据源
内部源数据（业务数据，管理数据，IT方面的OA数据/系统监控数据）+ 外部数据（第三方数据，互联网爬取的数据）
--------- 经过数据交换 ---------
ODS贴源层 ：和源系统保持一致，可能会做一些数据标准化/数据清洗，如果源系统没法改造的话，需要在这一步对数据进行标准化改造，确保到数仓层面是符合标准的。
数仓层面：按主题进行构建（比如产品，客户，机构主题），加工（进行反范式，标准化等 ）
一般数仓分为贴源层、标准化层、汇总层、指标层、集市层（关于数据仓库和数据集市在本篇不详细展开介绍）
数据集市：针对具体应用，高并发数据查询，把数仓层面加工完之后的数据导出到数据集市，便于进行小规模的应用
-----（上述结构化数据）+ -----
半结构化数据 （例如 日志文件）
非结构化数据 （例如 音频视频 邮件 （所以要引入 hadoop spark框架））
--------- （构建成了） = --------
大数据平台
2.数据分级分类
在完成了数据梳理，了解数据分布后，同时要明确保密和敏感数据的分布情况。
数据分类：依据数据的来源、内容和用途对数据进行分类。
数据分级：根据已分类的数据资产由业务部门根据数据的价值、敏感程度、影响范围进行敏感分级，将分类的数据资产划分公开、内部、敏感等不同的敏感级别。
3.数据认责
完成数据梳理与分级分类后，针对数据的归属权需要进行确认，有利于之后的权限梳理以及数据治理和运营。
4.数据权限梳理
主要涉及到访问控制以及对于敏感信息的保护，例如身份证号手机号脱敏等等，此处需要结合数据分级分类与数据认责。
数据治理
1.元数据
在表中看到一个数据时，我们仅看到这个数据的值，但是对于这个数据的身份背景从哪里来到哪里去我们都一无所知，所以我们需要元数据。元数据指的是用来描述数据的数据。那我们需要描述哪些方面呢？
业务元数据：是描述数据的业务含义、业务规则等。起码让你知道这一项数据的含义是什么，是通过什么规则运算加工出来的，避免大家各自对数据发挥想象...自说自话。通常包括：业务定义、业务规则、业务指标等。
技术元数据：进行技术定义和描述是为了便于识别数据的存储、传输和交换，常见的技术元数据包括：存储位置、数据模型、字段长度、字段类型、ETL脚本、SQL脚本、接口程序等
管理元数据：描述了数据的管理属性，包括管理部门、管理责任人等。内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本等。
那有了这些元数据之后我们可以做什么呢？
了解数据来自哪里并经过了哪些加工（血缘分析），数据与其他数据之间的关系（关联度分析），哪些数据是属于企业的常用数据（冷热度分析）等等。
2.数据标准
有了元数据之后，我们还需要制定相应的数据标准，来规范我们对于数据的使用。比如为了支持数据交互，我们需要对格式标准进行定义，为了避免混淆和歧义，需要对数据项名称标准，数据项值的标准进行定义。元数据是数据标准的基础，元数据需要有对应的数据标准。例如业务元数据（增长率），标准应该定义清楚是同比还是环比，例如技术元数据（字段类型），可能每一个数据库制定的表的标准不一样，男女就会出现male/female，1/0...这种情况，则需要我们需要按照一个统一的标准进行定义与输入。
3.数据质量
数据标准则又服务于数据质量，我们进行数据治理的目的也是为了提高数据质量，从而提供更为精准的决策分析数据。数据标准的评价维度示例如下：
数据标准评价指标
一般情况下产生数据质量问题的原因可能是录入错误，需要通过报表核对查出来并进行整改，知道哪些部门的数据质量是怎样的，代码问题 采用了错误的逻辑判断，数据缺失 数据在流转过程中导入导出过程中，由于编码规则不一样导致的数据被丢弃，可以在每个流转环节加入校验机制。
4.主数据
主数据是企业系统间共享性高的数据，跨越各业务部门经常被使用，且相对稳定。常见的主数据有客户、产品、机构人员等。
主数据具备3个主要特征有：
①高价值：主数据是所有业务处理都离不开的实体数据，与大数据相比价值密度非常高。
②高共享：主数据是跨部门、跨系统高度共享的数据。
③相对稳定：与交易数据相比主数据是相对稳定的，变化频率较低。
这些特征同时也反映出来主数据通常存在数据入口众多、重复录入、信息不一致、填写不规范、存在数据孤岛等问题。因为主数据的上述特点，因此管理方式也会有些不同。
通常有3种管理形式：
1.以单独系统进行管理，比如CRM系统就是客户数据的主数据平台，能够保证数据在各个地方交互的时候都是一致的。
2.集中管控 集合客户、产品、等所有主数据，构建主数据平台进行统一维护。方式是通过数据同步机制，将其他各地方比如财务系统的主数据（客户数据）同步到主数据平台。
3.数仓层面 建一个主题 比如客户数据 再同步到源系统 这种方式会比较麻烦。
5.数据安全
数据安全是贯穿数据使用全流程的，尤其在一些数据敏感度高的例如政府、军事、银行等机构，会对数据安全有较高的要求。
数据存储安全：包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。
数据传输安全：包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。
数据使用安全：需要加强从业务系统层面进行控制，规范数据的访问、下载、共享、销毁等过程。
数据价值实现
现在数据已经整整齐齐准备好了，能够通过什么服务实现价值呢？一般可以分为三种。
基础数据服务：查询、多维分析等，以SQL的方式来进行数据获取和指标分析。支持简单的条件查询，数据化运营中的路径分析、漏斗模型等等。
标签画像服务：通过使用标签数据，进行客户画像、精准营销等服务。像是关联分析、RFM模型都是比较常用的模型。
算法模型服务：包括推荐系统、风险控制等，通过将算法模型部署为在线API。这一部分根据行业不同有不同的需求，如投研分析，文本语义分析，交通路线优化等不同场景下的应用。
以上就是关于数据管理的全流程，后续会将其中的单个重要模块展开。
