数据资产数仓规划数据治理

数据资产顶层架构设计实践与思考

2020-02-21  本文已影响0人  数据智能谷

原创 辛华 辛一

一实施内容

企业需要持续深化数据治理管理工作,围绕数据价值发掘利用、数据质量提升以及管理落实过程中的难点痛点,特别是如何提升业务部门在数据管理中的参与程度,有必要建立完整的数据治理管理体系,梳理各业务部门在数据治理中的职责,对各类数据资产建立标准,统一数据资产管理流程,搭建数据资产管理平台,编制数据资产管理相关制度,建立数据资产管理组织,为企业数据质量的提升奠定基础,逐步建立良好的数据治理文化氛围,提高企业全员对于数据以及数据质量工作的重视程度,加强业务部门在数据管理过程中的参与程度,明确各部门在数据治理中的管理范围、管理职责,把数据治理的工作融入日常的工作过程中。

1、顶层架构规划与设计原则

(1)统一性原则。企业数据治理规划应遵循统一性原则,基于企业整体业务、信息化战略目标,统筹考虑企业整体信息化建设的其他部分内容,进行统一规划设计。

(2)实用性原则。以“贴合实际,需求导向”为根本,以业务运营和经营管理的实际情况为贴合点,以解决实际需求为导向,进行数据治理体系的规划、设计和建设,确保管理体系规划实用可行,为上层创新应用提供有力支撑。

(3)标准化原则。企业数据治理管理体系规划应遵循标准化原则,根据企业实际应用需求制定相关的体系建设标准、规范和指导文件;明确总体规划目标,统一规划思路,提供组织间交互公约,稳步推进体系建设分批分步实施。

(4)开放性原则。企业数据治理规划应遵循业界流行的开放标准,能够充分考虑未来应用发展的需要,使得数据治理体系在公司业务发展的过程中不需要推倒重新进行规划与设计,能够顺利、平稳地向更新的技术过渡。

(5)易推广性原则。企业数据治理体系规划应充分考虑企业各单位现有信息化基础,在保证先进性、实用性原则的基础上,遵循易推广性原则,尽量减少推广难度,并提供切实可行的推广策略和推广方法。

(6)安全性原则。企业数据治理规划应遵循安全性原则,符合公司信息化建设安全和等级保护的相关规范,通过技术手段保障数据信息的安全,提高数据安全风险识别、处理能力,增强防灾抗破坏能力。

2、顶层设计主要分为需求分析、顶层架构设计、应用场景验证三个大的阶段:

(1)调研与需求分析

理论基础:国际DAMA、数据资产白皮书4.0、工业大数据白皮书、DCMM等;

外部调研、对标:央企领先实践数据治理框架体系等;

企业参考资料研读:包括企业“十四五”信息化发展规划、企业主要信息系统等;

(2)顶层架构总体设计

顶层设计:包括数据战略规划、组织架构设计、数据架构设计;

数据治理核心域:由数据标准、数据模型、数据治理、数据安全、指标数据、主数据六部分组成;

保障措施:包括制度、流程、技术三部分;

数据治理其他相关域:数据全生命周期、数据需求管理;

(3)应用场景、数据治理软件工具验证、数据资产工具验证

数据治理工具验证:物料、设备主数据系统验证;

数据资产工具验证:实现数据资产目录、数据资产地图。

图1数据治理顶层设计方法论
二步骤和方法
1、借鉴DAMA数据管理知识体系设计理念 图2数据治理框架

图2数据治理框架

通过引入DAMA数据管理知识体系设计理念,建立企业数据战略体系,包括数据治理、管理制度、管理服务统一在数据管理平台中,形成数据架构体系集中统一管理。通过技术基础和系统集成,能够与业务建立起整体上的逻辑映射关系,并通过规范的、可视的、易于理解的形式表达出来,对于后续的业务需求沟通和系统建设过程可以起到指导作用,指引公司数据资产管理落地实施。数据资产管理顶层设计过程是核心输出成果之一。
2、对企业系统调研与需求分析

通过对公司数据治理文档、数据、制度、流程、信息化系统运行记录等现状资料的收集和访谈,充分理解公司的战略、管控模式和各主要业务方向的业务战略,明晰企业发展战略对数据资产管理、数据治理、数据质量、数据运维、组织架构的需求。

理清企业对下属企业的管控模式,企业管什么?管多深?怎么管?如下图(所示)。

image

图3企业对下属企业的管控模式

在理解企业数据战略管理目标和要求的基础上,再通过调研与分析,全面了解企业的管理现状和业务现状,准确把握现阶段面临的问题与挑战,明确未来企业数据战略的需求和方向。

以能源化工生产类数据管理为例。我们首先要针对能源化工过程所需要的物料、介质、耗材,包括大量的实时数据、采集数据,各生产数据采集系统与总部集控系统汇总数据现状进行分析,发现存在的关键业务问题。

针对存在的问题提出改善建议、提炼数据资产管理需求,然后,再对企业的数据治理现状进行评估,分析数据现状与业务对信息支撑能力要求之间的差距,总结数据治理的关键改进方向。

接下来,从IT管控、IT基础设施、应用系统、数据信息管理等方面对IT现状展开评估,包括以下几个方面:

(1)企业现有信息技术的计划和在IT方面的历史投入,以及获得的成果;

(2)下属企业现有的信息技术应用及建设历史;

(3)分析企业数据资产分布、建设情况和投入历史;

(4)数据应用系统的主要执行标准;

(5)数据标准化、数据质量分析、安全性和共享能力;

(6)明确信息技术基础设施和对数据开发利用的需求情况;

(7)信息技术管理的组织结构、管理流程、信息技术服务范围和能力。

为确保数据治理规划的先进性,还将对先进企业的数据治理管理模式、信息化的发展趋势和领先实践进行研究,分析信息化建设的成功案例。

最后,总结企业数据战略、业务和管理现状以及现有信息化技术条件,结合IT发展趋势与最佳实践,提出企业数据治理架构和技术要求,提出实现数据战略落地实施的指导原则和总体的发展战略。

3、理清架顶层架构设计思路

数据战略体系核心在于有效解决对数据资产进行管理的实践性问题,既帮助企业合理评估、规范和治理企业信息资产,又可以挖掘和发挥数据资产价值、促进持续增值,并符合大数据的跨行业合作趋势(如图)。

图4数据资产管理体系架构设计

4、顶层架构设计突出重点和特色

对企业数据资产管理现状进行充分调研,并形成翔实、可靠的现状分析报告。根据企业行业特点与业务实际,聚焦数据资产管理,对公司数据资产管理开展顶层设计与体系规划,明确阶段目标与任务,有序推进,并形成公司数据资产管理的实施方案。

数据战略核心领域设计涵盖数据服务、主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理的数据生命周期管理等内容;我们主要谈二个核心话题,一是如何提升数据质量,二是构建数据资产目录的方法。

(1)数据质量规则框架

数据质量规则是保障数据质量的基本标准,是进行数据质量校验、度量、考核等工作的前提条件。根据我们在各部门的调研情况,各部门对于数据质量规则的梳理范围还不完整,仅限于部分核心数据,存在较多的历史欠账,因而很有必要对数据质量规则的梳理进行规范化和模块化,数据质量规则框架(项目示例)如下表所示:
数据质量标准描述


数据质量标准描述

上述数据质量规则框架中,第4项属性数据质量标准描述,应该从数据质量标准评估维度分类角度,从完整性、准确性、一致性、及时性和规范性五个维度,对数据质量标准的内容进行描述。

数据质量工作考核

数据质量考核是数据质量管理制度和数据质量标准能够实施落地的重要保障,因而需要定期评估各部门、各单位的数据质量管理水平,提升相关人员数据质量管理的意识,提升各部门的数据质量水平。

应从数据质量管理能力水平和数据质量健康水平两个维度进行考核,促进数据质量管理制度、标准执行落地。其中数据质量管理能力水平是从组织与推进、制度建设、工作流程三个方面进行评价,侧重于各部门、各级单位的日常工作和业务过程考核,属于定性评价指标,适用于数据治理办公室进行总体评价;数据质量健康水平侧重于各部门、各级单位的结果考核,属于定量考核指标,适用于各业务部门用于考核本部门数据质量的健康水平。数据质量考评机制(以往项目案例)如下所示:

图5数据质量考评机制

①考核评价要点

数据质量管理能力水平是从组织与推进、制度建设和工作流程三个细分维度,对数据认责情况、岗位落实情况、人员配合工作情况、管理制度编制情况、管理制度遵从程度、数据质量工作执行情况、数据质量分析情况、数据质量整改情况共8个方面,对各部门、各级单位的数据质量管理能力水平进行定性评价。

数据质量健康水平是从准确性、完整性、一致性、及时性、规范性等五个方面对基础类数据和分析类数据进行定量考核。

②考评措施

考评措施主要以数据质量通报(包括正常通报与问题专项通报)的形式予以落实,考核范围包括数据质量管理能力水平和数据质量健康水平两个维度涉及的10个方面。考核措施应与单位负责人的绩效考核挂钩,相关单位负责人是数据质量工作考核的第一责任人。

(2)数据资产目录编制方法

数据资产管理着力构建数据资产管理体系,通过数据资产管理可将数据规范管理和数据处理有机的融合,实现对具体资源数据的元数据描述,支持利用标准化的数据接口以及形式丰富图表展示工具快速定制各类数据资产应用,配合数据资产的全面评估,实现数据资产的“三全”管理:全生命周期管理、全流程管理、全景式管理。

根据企业数据资产现状调研,编制企业数据资产管理目录,进行数据分类,甄别基础数据,各部门共享数据类型,合理分类,通过资产目录,可查询、追溯、共享数据。

①数据资产目录两种编制方法

方式一:数据资产目录编制方法-系统视角

以企业目前核心系统为主,数据资产目录主主要参考系统功能模块进行划分,数据资产目录按系统数据主题、数据实体定义信息、数据实体分类信息、数据相关方信息、技术信息构建数据资产目录。

图6数据资产目录编制方法-系统视角 图7数据资产目录编制方法-系统视角(示例)

方式二、数据资产目录编制方法-主题域视角

数据资产目录,先构建全集团统一的数据域主题(通常可按照战略发展、业务运营、管理支持抽象一级主题域主题),把企业现有各系统按数据驱动方式,划分各数据主题域,之后在抽象数据实体定义信息、数据实体分类信息、数据相关方信息、技术信息构建数据资产目录。

图8数据资产目录编制方法-主题域视角 图9数据资产目录编制方法-主题域视角(示例)

三价值评估
顶层架构规划与设计业内还没有成熟的价值评估方法。本文所涉及的评估方法,主要把央企、集团企业数据治理过程中常见的主要问题进行了汇总和提炼。

表2 顶层设计-数据治理域评估情况说明
数据献礼工作缺乏公司层面的统筹管理,各部门分头开展数据管理工作,过于分散,无法开展统一的协同工作,难以形成合力;且很大程度上存在不少的重复工作,造成资源浪费。


表3 顶层设计-数据标准域评估情况说明



结束语
数据资产顶层架构设计不仅仅是企业领导“一把手”工程,更是企业各级领导重点工程和系统工程,各级领导应对顶层设计项目高度重视,进而确保顶层设计能够顺利推行和落地。本文从做好数据调研需求分析、顶层架构总体设计、应用场景验证三大阶段提供为读者提供一个整体的视角和方法论,可为企业编制顶层设计提供方法论层面的指导和实践。
上一篇下一篇

猜你喜欢

热点阅读