前言

主要使用产品如下：
   XX 大数据开发平台，可实现从数据的抽取、治理、分层存储，到数据模型的建立、分析挖掘以及数据的最终应用；
   XX存储生态集群，包括（以postgres数据库为DB内核、HD大数据平台、分布式数据库、离线同步引擎等），在稳定的OLTP基础上持一定数量级别的大数据OLAP需求；
  XX BI 大数据可视化分析平台。

作者：以数据分析师（产品）身份全程参与完成了此中台项目一期建设。从需求调研到数据贯通、数据赋能。
  完成了自下而上的元数据梳理、数据定义、数据模型构建，和自上而下的业务理解、业务指标体系搭建、指标管理及指标可视化。同时指导数据开发工程师、UI及前端完成数据赋能的落地。

客户：XX园区^[1]。大型产业园区，以为主营业务。

---

背景

现状

   依靠业务线，经过十多年的信息化建设，XX园区^[1]已经积累了大量数据，资产、创投、财务、办公等系统建设也日趋完善。

• 业务模式
     从XX园区^[1]对外财报可以看到，主营业务收入主要来自房产租赁、销售以及投资收益。
• 园区的经营模式主要是
     1、园区作为房产商，来进行园区的开发建设及固定资产的出租、销售；
     2、园区作为产业投资商，利用其园区开发运营商的先天优势，选择优质企业通过直接投资、委托投资、参股基金等穿透基金方式投资，在分享企业成长红利的同时，也能够吸引优质企业入驻。
     3、园区作为服务商，定期举办孵化器创业营，为企业提供投资咨询、政策咨询、配套咨询。为初创企业提供孵化服务满足产业链上不同成长阶段企业所需的多级、多元投融资服务体系，各种企业孵化模式、创投平台和产业基金等。

数据中台必要性

   在数字化变革时代，国有企业数字化转型是大势所趋。

• 痛点
     1、数据孤岛
     数据不规范、数据可靠性低。例如跨部门多台账、数据定义不一致。
     2、业务线不连贯。
     当业务线跨多部门时，前置和后置部门对业务对象定义不一。同一实体，无法复用
• 需求
     1、解决数据孤岛、业务线不连贯等问题
     2、通过数据集成，能够数据共享、复用。
     3、数据分析，对内衡量业务发展，对外探索业务新模式，加快数字化转型。

---

一、成果输出

   数据集成

      一年已完成OA、资产、财务、人事、股权等5大系统原始数据表的对接，开展400余项指标设计，完成开发了领导、资产部、财务、招商、人力资源等9个驾驶舱，每日同步更新近400余张数据表，数据总量超过2200万。

   数据赋能

• 1）构建数据标准
     业务多元，各部门结合紧密，数据标准缺失导致企业内部存在“数据歧义”与“多台账”等问题。通过统一部门之间的数据标识、统计口径并设立信息数据专员明确数据责任主体，得以保证数据的唯一、准确、及时、有效，大幅节约部门间沟通成本，提高员工工作效率，并为具体实施中台搭建提供基础。
• 2）数据贯通
     各业务子系统相互独立、孤岛纵横是推进数字化转型的一大阻碍。目前数据中台已连接部分业务系统，基本实现XX园区^[1]的基础业务数据整合，实现信息系统之间的高效交流和数据共享。
• 3）数据价值
     数据中台针对各部门在数据使用方面的痛点与需求，完成了数据建模与驾驶舱搭建。截至目前共开发完成9个驾驶舱界面，包含26个子模块，累计超过400个指标项，囊括XX园区^[1]的主营业务、项目开发和投资产业三大主要板块。实现了通过数据分析，客观完整地反映企业经营状况，为精细化管理提供支撑。

二、实现过程

image

1）调研

   了解XX园区^[1]当前信息化建设下的已有系统，从完善度较高的系统开始对接，当前主要对接了OA、资产、财务、人事、股权等系统， 已基本覆盖XX园区^[1]的主营业务线。
   调研各部门主要在业务系统使用中遇到的业务痛点，以及亟待解决的需求。例如：各部门较为独立，对出租率、收入的定义不一致。

• 业务调研
     要构建大数据数据仓库，就需要了解各个业务领域、业务线的业务有什么共同点和不同点，以及各个业务线可以细分为哪几个业务模块，每个业务模块具体的业务流程又是怎样的。业务调研是否充分，将会直接决定数据仓库建设是否成功 。

• 需求调研
     需求调研的途径有两种：一是直接和业务人员获知需求；二是现有的报表和台账进行研究分析。

2）数据采集同步

• 数据来源

  • 线上数据：对接各业务系统，拿到数据库说明文档及个业务系统读取权限（仅读取）

  • 线下台账：开发上传接口，指定上传规则及更新周期

• 数据采集策略

  • 备库： 与主库实时同步

  • 抽取备库：每天定点全量

• 数据定义

  • 元数据定义：

    • 要理解业务，除和业务人员沟通外，就要对元数据进行梳理，避免毫无章法的查表，建议先对元数据进行数据定义，主要是分为单表属性定义和表字段定义。 image

  • 数据关系定义

    • 在“数据定义” 完成后，需要考虑表与表之间的关系。以实体出发寻找其行为、扩展信息等，划分出不同的业务域。 image

3)数据建模

• 3.1数仓模型

  • 在“数据定义” 完成后，需要考虑表与表之间的关系。以实体出发寻找其行为、扩展信息等，划分出不同的业务域。 image

  • ods层一般为抽取的元数据，例如

    • 01、数据定义的表 image

      • 商品表 ods_aaa1_xxx

      • 商品信息表 ods_aaa2_xxx

      • 定价表 ods_aaa3_xxx

      • 厂商表 ods_aaa4_xxx

      • 订单表 ods_aaa5_xxx

  • dwd主题层一般建立大宽表，以事实表或者实体表尽可能的关联信息，避免百分比数据（因为比率数据无法做累加累减），此处dwd表不一定追求一步生成，“目标dwd表”可由多张“过程dwd表”生成。

    • 02、数据关系定义划分的域 image

      • 订单域 dwd_order_xx

      • 商品域 dwd_sku_xxx

  • dws专题层的建立就要考虑应用了（指标），思维方向是<自上而下>的。即从业务指标出发，考虑指标维度，从而去搭建适配的dws层。

    • 按照实体进行维度聚合，例如订单按用户不同地区聚合， image image

  • adm应用层，既可以用作BI可视乎展示也可以用于结果集数据分享。其构建思路，是要考虑服务器的性能和指标的耦合性，要做到一定的平衡。例如adm层的应用表大而宽，对于指标取数是友好的，即可从一张表获取多个指标，但是adm层每天的日增或者全量运行，服务器压力可能会很大；反之应用表假如只针对一个指标，则耦合性太高，扩展性低，适合于业务固定场景。

• 3.2算法模型

  • 我们在业务开发过程中会形成一些通用的算法，比如“在租客户价值度分析”等

4)数据指标体系构建

• 4.1数据指标定义

  • 将不同角度的事实数字化、可量化
  • 可度量、可拆解、可描述。

• 4.2指标类型
  

  指标体系构成图.jpg
  • 1、基础指标（原子指标）
    • 由基础数据直接展示出单维度指标。如产量， 成本等
  • 2、交叉指标（派生指标 = 原子指标+时间周期+修饰词）
    • 由多个基础指标，结合多种维度，结合度量加工统计得出新的指标，如损耗率、缺货率、产品合格率等；
  • 3、高级指标
    • 结合一定的业务逻辑，或采取某种算法加工得出的指标。如产能利用率、劳动生产率、交货期预测等；

• 4.3指标体系构建思路
  

  image.png
  • 1、自上而下
    • 面向对象
      • 指具体人员
    • 面向业务
      • 主营业务的业务线
        • 如：用户行为生命周期
      • 关键性指标构成线
        • 如：GMV
          • 各环节转化
  • 2、自上而下
    • 从源数据出发，发掘。

• 4.4指标标准管理

  • 1、基础属性
    • 指标编号：一级分类、二级分类、三级分类、指标名称、英文名
  • 2、业务属性
    • 业务含义、统计口径、类型
    • 度量单位、统计频率
  • 3、技术属性
    • 数据模型、长度/精度、敏感性
  • 4、管理属性
    • 版本号、日期、定义部门、使用部门

• 举例

  • 案例1：To-B

    • 园区管理案例

      
      image.png
    • 人效分析
    image.png

  • 案例1：To-C

    • 付费APP案例

      
      image.png

5)数据赋能

• 在我们完成数据建模以及数据指标体系的构建后，接下来就是对数据进行赋能。数据中台针对各部门在数据使用方面的痛点与需求，完成了数据建模与驾驶舱(可视化大屏)搭建。截至目前共开发完成9个驾驶舱界面，包含26个子模块，累计超过400个指标项，囊括XX园区的主营业务、项目开发和投资产业三大主要板块。实现了通过数据分析，客观完整地反映企业经营状况，为精细化管理提供支撑
• 数据标准化
  • 去除不同终端中的叫法与含义，定义统一化的输入输出；构建数据指标字典，达到数据贯通及快速响应。
  • 当前累计超过400个指标项，囊括XX园区的主营业务、项目开发和投资产业三大主要板块
• 数据共享

  • 针对之前存在的“数据歧义”与“多台账”等问题。通过统一部门之间的数据标识、统计口径。指定数据定义、统计口径等，实现系统间、部门间，数据共享。例如针对项目生命周期，<前期部>设计项目图纸————》<项目开发部>进行项目开发建设————》<资产部>进行出租或者销售。从项目开始设计就给其一个唯一编码，随着跨越部门，名称可变，编码不变。

    
    image.png
• 数据可视化
  • 截至目前共开发完成9个驾驶舱界面，包含26个子模块。通过数据分析，客观完整地反映企业经营状况，为精细化管理提供支撑。如**。
    image.png

---

1. 该中台项目涉及保密，故全文涉及该客户名称，均以XX园区示意； ↩ ↩ ↩ ↩ ↩ ↩ ↩