数据治理

数据治理学习及梳理，理解不算深刻。丢失一次全部内容，心态炸裂情况下先粗略写了一般。后续充分结合地址数据治理进行理解。

一、什么是数据治理
为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。
目前主流数据治理分数据标准、数据模型、元数据、主数据、数据分布与存储、数据生命周期管理、数据质量、数据安全等。

数据治理的目的就是通过有效的数据资源控制手段，进行数据的控制，以提升数据质量进而提升数据变现的能力。

二、为什么要数据治理
在我国，各行业的企业信息化大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段，可以说是一个先建设后治理的过程。建设过程中往往存在一些数据质量问题：
1、数据质量层次不齐
信息化时代，企业、政府等组织机构对“数据资产”的管理越来越重视。组织机每天产生大量的文本、视频、音频数据，这其中有高质量的有效数据，也有难以利用的低质数据。剔除低质数据，治理及保留有价值的数据是必不可少的治理工作。

2、数据交换和共享困难
企业信息化建设初期缺乏整体的信息化规划，数据分散在架构不统一、开发语言不一致、数据库多样化的系统中，导致在企业内部形成了一个个的“信息孤岛”。只有联通数据，消除这些“信息孤岛”，才能实现数据驱动业务、数据驱动管理，才能真正释放数据价值。

3、缺乏有效的管理机制
现在许多企业都尝试通过生产系统的业务流来控制数据流，但由于缺乏有效的管理机制和某些人为的因素，在数据流转过程中存在数据维护错误、数据重复、数据不一致、数据不完整的情况，导致了产生了大量的垃圾数据。数据产权不明确，管理职责混乱，管理和使用流程不清晰，是造成数据质量问题的重要因素。

4、存在数据安全隐患
2018年3月份的Facebook 5000万用户信息被泄露和滥用的事件；2016年，顺丰员工应盗取大量客户信息被送上法庭；2017年，京东员工盗取用户个人信息50亿条，并通过各种方式在网络黑市贩卖。随着大数据的发展，此类数据安全事件多不胜数。数据资产管理正在由传统分散式的人工管理向计算机集中化管理方向发展，数据的安全问题愈来愈受到人们的关注。

三、数据治理具体内容
每个数据治理的领域都可作为一个独立方向进行研究治理，目前总结的数据治理领域包括但不限于一下内容：数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据生命周期管理、数据质量、数据安全以及数据共享服务。

1.数据标准
良好的数据标准体系有助于数据的共享、交互和应用。数据标准适用于业务数据描述、信息管理及应用系统开发，包括基础标准和指标标准（或称应用标准）。可作为信息管理的基础，同时也是作为应用系统开发时进行数据定义的依据。涉及国家标准、行业标准、企业标准和地方标准，在定义元数据实体或元素时进行关联。数据标准的主要由业务定义、技术定义和管理信息三部分构成。
（1）业务定义主要是明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。对于代码类标准，还会进一步明确编码规则以及相关的代码内容。
（2）技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。
（3）管理信息是指明确标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，以保障数据标准能够持续的进行更新和改进。
例如地址标准希望兼容并接入应用现有多来源地址数据，充分参考国家/省/市地址标准、行业地址标准规范来设计地址数据规范。

2.数据模型
数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，它包括概念模型、逻辑数据模型和物理数据模型，是数据治理的关键、重点。数据模型包含三个部分，数据结构、数据操作、数据约束。
（1）数据结构数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。
（2）数据操作数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。
（3）数据约束数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
感觉更偏底层的数据结构、数据操作、数据关系等内容

作者：DataHunter
链接：https://www.zhihu.com/question/23572197/answer/938087828
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

3.元数据
元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理，对企业业务系统和数据分析平台的开发、维护过程提供支持。元数据分为业务元数据、技术元数据和操作元数据，三者之间关系紧密。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。
（1）业务元数据业务元数据是定义和业务相关数据的信息，用于辅助定位、理解及访问义务信息。业务元数据的范围主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。
（2）技术元数据它可以分成结构性技术元数据和关联性技术元数据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。关联性技术元数据描述了数据之间的关联和数据在信息技术环境之中的流转情况。技术元数据的范围主要包括：技术规则（计算/统计/转换/汇总）、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。
（3）操作元数据操作元数据主要指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。
例如地址产品的地址数据、经纬度数据、邮编数据(业务元数据)；地址数据结构、地址接口，程序(技术元数据)，操作记录、接口调用统计(操作元数据)

4.主数据
主数据管理是通过运用相关的流程、技术和解决方案，对企业核心数据的有效管理过程。要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的管理，并且以服务的方式把主数据传送给企业内需要使用这些数据的操作型应用系统和分析型应用系统。主数据管理涉及主数据的所有参与方，如用户、应用程序、业务流程等。主数据是企业内外被广泛应用和共享的数据，被誉为是企业数据资产中的“黄金数据”，主数据管理是撬动企业数字化转型的支点，是企业数据治理最核心的部分。
地址产品的标准数据、经纬度信息即为主数据

作者：DataHunter
链接：https://www.zhihu.com/question/23572197/answer/938087828
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

5.数据分布与存储
数据分布和存储主要涵盖了数据如何划分和存储，总系统以及分系统数据如何分布，主数据及参考数据（也称为副本数据或者辅数据）如何管理。只有对数据进行合理的分布和存储，才能有效的提高数据的共享程度，才能尽可能的减少数据冗余带来的存储成本。以商业银行为例，通常情况下，综合数据规模、使用频率、使用特性、服务时效等因素，从存储体系角度，可以将数据存储划分为四类存储区域，即交易型数据区、集成型数据区、分析型数据区、历史型数据区
（1）交易型数据区交易型数据区包括渠道接入、交互控制、业务处理、决策支持与管理等各类联机应用数据；存储客户自助或与操作人员在业务交互办理过过程中产生的原始数据的存储，包括业务处理数据，内部管理数据和一些外部数据，其存储的是当前状态数据。
（2）集成型数据区集成型数据区包括操作型数据（OLTP）和数据仓库型数据（OLAP）。
（3）分析型数据区分析型数据主要是用于决策支持与管理的各类集市应用的数据。为了对业务执行情况进行深入分析，需要对原始数据进行进一步汇总统计分析，统计分析结果用于最终的决策展示，因此分析型数据区存储了这些统计、分析模型结构的指标数据。
（4）历史数据区这里存储了所有近线应用、归档应用、外部数据平台应用等的数据，主要满足各种历史数据归档后的数据保管和数据查询服务。

6.数据质量
高质量的数据是进行分析决策、业务发展规划的重要基础，只有建立完整的数据质量管理体系，明确数据质量管理目标、控制对象和指标、定义数据质量检验规则、执行数据质量检核，生产数据质量报告。通过数据质量问题处理流程及相关功能实现数据质量问题从发现到处理的闭环管理，从而促进数据质量的不断提升。
（1）制度和规范从技术层面上，应该完整全面的定义数据质量的评估维度，包括完整性、时效性等，按照已定义的维度，在系统建设的各个阶段都应该根据标准进行数据质量检测和规范，及时进行治理，避免事后的清洗工作。
（2）明确相应的管理流程数据质量问题会发生在各个阶段，因此需要明确各个阶段的数据质量管理流程。例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量，不断消除存量。
地址数据的准确度、召回率标准，并通过纠错、问题地址质检、用户干预提高地址质量

7.数据生命周期
任何事物都具有一定的生命周期，数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。
数据生命周期一般包含在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线归档阶段）、销毁阶段三大阶段，管理内容包括建立合理的数据类别，针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。
地址数据的接入、使用、移交用户

8.数据服务
数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。
地址数据的多维度统计，系统使用情况分析等数据服务工作

9.数据安全数据安全应贯穿数据治理全过程，应保证管理和技术两条腿走路。从管理上，建立数据安全管理制度、设定数据安全标准、培养起全员的数据安全意识。从技术上，数据安全包括：数据的存储安全、传输安全和接口安全等。当然，安全与效率始终是一个矛盾体，数据安全管控越严格，数据的应用就可能越受限。企业需要在安全、效率之间找到平衡点。数据安全管理主要有以下三个方面：
（1）数据存储安全包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。
（2）数据传输安全包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。
（3）数据使用安全需要加强从业务系统层面进行控制，防范非授权访问和下载打印客户数据信息；部署客户端安全控制工具，建立完善的客户端信息防泄漏机制，防范将客户端上存储的个人客户信息非授权传播；建立完善的数据安全管理体系，建立数据安全规范制度体系，组建数据安全管理组织机构，建立有效的数据安全审查机制；对于生产及研发测试过程中使用的各类敏感数据进行严密管理；严格与外单位合作中的个人客户信息安全管理等。