史上最强攻略!手把手教你建「数据中台」!
文章转自「首席数字官」
ID:ChiefDigitalOfficer
作者:李国欢
4 月 24 日晚,由数澜科技联合锦囊专家共同打造的《数据中台硬核汇》系列线上微课第一讲火热开启。1000 位 CXO 同时收听,群友累计提问 30+,问嗨全场!本文为本次微课分享内容整理,错过 24 日晚微课的同学不要慌,干货文章已备好,快来尝鲜吧!
「DT时代真的来了!今天,我国整个行业的模式已经发生了变化,从互联网+、智能到智慧,再到大数据和人工智能等技术在各应用场景中的作用发挥等等,这一切的发生均为企业发展注入了全新的活力。」——数澜科技联合创始人兼 CTO 江敏
一、企业为什么需要建设「数据中台」?
中台概念最早由阿里提出,2015 年阿里巴巴集团启动了中台战略,目标是要构建符合互联网大数据时代的,具有创新性、灵活性的「大中台、小前台」的机制,即作为前台的一线业务会更敏捷、更快速的适应瞬息万变的市场,而中台将集合整个集团的运营数据能力,产品技术能力,对各前台业务形成强有力的支撑,所谓的中台,也就是企业互联网架构,把公共的资源共建,服务化共享。
近两年大家对中台的认知越来越明显,这和整个行业的模式变化有着很大关系。最早我们传统to B 模式很多时候只是后台+前台,前台更多的是在做单个的业务场景后台,这种能力大都是为了对内经营管理,如下图中的左边传统 to B 模式,其中有 CRM、ERP 等相应系统,主要是针对内部管理。
1随着近两年互联网的发展,包括移动互联网的发展,企业的经营业务模式发生了很大的变化,以前一家制造型企业可能没有最终端的业态,但是近几年通过微信、移动互联网、小程序的模式等,也开始进行 to C 业务模式。
而这其中会涉及很多与早先时期的经营管理无法快速匹配的情况,如早先的 CRM 是销售进行拜访后将其录入;今天,我们在触达客户时,可能是通过一个在线系统,如营销系统,可直接触达最终客户,而这当中则会出现一个问题,即两边的数据没法进行串联。
这时,我们该如何来解这一问题,为将这些数据进行打通,所以企业在构建数据中台时需要将原先各个业态的数据,或者各种业务模式下的数据,将其更好地汇聚到一起,进而基于这些数据对其进行融合,之后,再将数据进行相应的价值挖掘、服务应用、最终使其服务回馈到现有的业务系统。
是什么关系?在企业进行数字化转型时,可分为两个概念,一个是业务中台,一个是数据中台。首先业务中台解决的是业务数据化。企业通过业务数据化后形成的是企业未来可供挖掘的一个矿产。这些矿产是整个数据中台原材料来源。虽然当前可能感知不到它的价值,但是未来,随着新技术应用、包括场景的挖掘,这些数据就能够为企业带来巨大的增值。
2因为业务中台其实很多时候解决的是 OLTP 的场景,对于业务的响应,包括交易事务性、处理关联性等,更多的是生产数据的一个过程;而数据中台的定位是将这些数据的价值进行挖掘,数据中台不是一个生产数据的过程,而是一个使用数据的过程,所以将其定义成「数据业务化」。
从数据中台的角度来说,我们把业务系统中沉淀的数据矿产,通过新的技术,如大数据建模、机器学习等能力,对其进行价值提炼,从而形成最后的企业数据资产,然后通过服务化能力,赋能现有业务系统,如推销商品、个性化推荐等。这种结果通过业务系统记录下来后,进而回馈到数据中台中,数据中台再基于这些结果数据进行建模型分析,逐步优化业务策略。
数据中台更多的是面向使用场景,把沉淀的数据价值得以最大化,服务于现有业务,甚至拓展出新的业务形态,为企业带来新的增值,因此数据中台和业务中台是相辅相成、相互协助的关系。
3二、数据应用流程机制,为企业打造数据应用流水线
企业建设数据中台,其中非常关键的是,企业能否将使用数据的流程机制快速构建起来。如果只是买工具来填补某一能力缺失,而不考虑流程机制,是无法串联的,而这一串联的过程就是数据价值挖掘的过程。
4一旦我们构建出与企业相匹配的一套数据应用的流程机制后,就像为企业买了一条数据应用的流水线,是形成数据价值挖掘的闭环。数据会按照要求流程输入,便可以验证,如:哪些数据在哪些场景下是有价值的、哪些数据在哪些场景下是没有价值的,这一过程就是数据中台非常核心的部分。
拒绝「三拍」,塑造企业数据文化很多时候业务部门在推进业务时,无法认知到数据的价值能力,进而忽略了数据价值的存在。这个价值未必直接产生收入,而是体现在让整个事情流转效率更高,决策更精准,服务更加个性化、精准化,这些都是数据给企业带来的价值。
5构建企业数据文化,我们有时候开玩笑讲做决策,没有数据支持很可能是一个三拍的形态,一拍脑袋,这个事情我要干;二拍胸脯,这个事情我一定干好;三拍屁股,干不好拍个屁股走人。但数据能力提升后会避免这种情况,让企业精细化运营。通过数据的方式支撑整个管理过程、服务过程,更加针对性的提供相应的技术支撑。
数据中台的两大核心:第一,技术产品体系。数据中台不是一个产品,每个企业的数据中台都应该是跟别的企业不一样,因为企业的业务各有特点。第二核心是数据资产体系的建设。这部分相当于是一个人的认知和灵魂,如果没有这部分东西,那就是个植物人。所以企业构建数据中台只是有工具平台是不行的,其中数据资产是非常重要的一个部分。
除了数据资产之外,还有一部分是我们的服务体系,它能降低企业数据价值的试错成本。所以,在构建资产服务体系时,需要考虑结合企业场景沉淀和共性能力,业务部门再通过数据加服务的方式,快速组装想要的能力,由他们自助式的完成整个数据的价值挖掘过程。这是数据中台需要提供的一种对外输出的能力。
那么如何把数据当成一种业务来运营,总结为四个字:研、定、行、优。
首先要通过数据的方式研究分析问题;第二在定策略或者做相应决策时,需要有相应的数据支撑。第三在行动时由数据来提供相应的行动支撑。第四优化整个最后结果,企业需要以数据的方式记录,然后通过数据的方式来提供相应的优化能力。
三、数据中台的三大核心价值
数据中台的核心价值有关键三点。第一是创新力。数据中台怎么样能够帮企业将数据价值挖掘出来,让业务人员的业务知识沉淀。为什么阿里运营比较强?我们自己的理解是,更多是说他们的运营,即以数据驱动的方式做整个业务。
6第二是场景驱动模式。需求驱动可能会带来问题,首先响应一定是滞后;另外一方面,响应过程取决于整个基础能力建设,很多时候一个需求提出之后,需要经过两三个月的周期才能有支持,时间也会比较长。
因此我们需要考虑以场景化方式驱动。即把事情过程全部数据化,当新的问题出现时,有可能会基于之前积累的知识和能力经验,可以快速给出解决方案,来支撑问题解决方案。
第三是经验沉淀。在构建整个数据中台时,需要将经验转换为数据资产体系的一部分,来指导企业未来使用数据,站在巨人的肩膀上不断优化,不断迭代,让数据资产越来越有价值。
但面向技术人员的数据,其业务价值很难发现,技术人员很多时候可能更多关注在技术层面,所以对数据能否服务于某个业务场景的理解并不深刻,因为企业里面理解业务深刻的一定是一线的业务人员,所以我们的数据和业务之间就形成了一道鸿沟。怎么样把沟上的桥建起来,其实是我们数据中台在构建时需要考虑的问题。
引人注意的是,这座桥有一个特点可以抓到,就是怎样让数据变成一种可阅读易理解的资产。
从业务视角,我们需要将其转换成一种业务人员可阅读易理解的形态,然后给到他们。所以我们一旦把数据转换成业务视角会较容易理解,但业务会有很多想法和创新点,如需求驱动、场景驱动,所以这些数据一旦沉淀下来是可以为企业未来的经营决策提供良好的支撑。
经验沉淀,首先资产体系会分成人、物、场景这三个维度来构建,之后,会提供一些基础的数据服务能力,如查询、分析、推荐、风控等,当然服务的能力可能会根据企业的情况有不同的选择,但是这些能力一旦沉淀下来,业务人员在做精准营销时,就可以知道今天需要通什么要的推荐方式进行、推荐时需考虑哪些维度指标、通过哪些特征来训练推进算法,这时就可以尝试,一旦尝试成功之后,就会去看结果好还是坏,进而持续做优化。
四、数据中台的演进路径
数据中台的演进路径可分为四个阶段。
统计分析。第一个阶段主要以统计分析为主,以业务需求为导向,然后加上少量的统计分析方法来做,常见的形态如业务系统中加统计报表模块,在业务系统的数据上直接做统计工作。
7决策支持。第二个阶段开始做决策支撑,这时开始有一些数据理念,开始构建基础数仓,通过数仓方法支撑整个数据决策过程。
数据服务。第三个阶段为数据服务阶段,这个过程中很典型的是业务需求开始以数据化的方式驱动,这时数据和业务开始逐步融合,但融合的过程中可能更多的时从业务需求出发,很少会考虑共性问题。所以在这一过程中,为很好地支撑业务,为业务带来价值,会有很多的重复建设。
数据驱动。第四个阶段,是从全局角度看问题。3.0 阶段是从需求的场景来出发;4.0 阶段,非常典型的是通过业务场景驱动的方式,即建好基础设施能力,构建业务需求、以及在哪些场景应用,在数据驱动下可以快速通过现有服务能力的拼装,应用到具体业务中去, 形成整个数据应用的闭环。
8对于数据成熟度的评估,其实每个企业都可以根据当前所处阶段做一些相应的评估,关于整个数据中台推进落地,我们总结了 16 个字,即以用促通、以通带存、以存训算、以算利用。怎么理解这 16 个字?很多时候企业做数据中台的投资是比较大的,风险也很高。
以用促通。我们首先对数据中台明确认知,数据中台是长什么样子;整个链路闭环是怎样;所以企业在第一步落地时,需要先找到一个对于企业来说最能体现价值的应用点,以应用点为切入口,其数据能力建设最终要从切入点上产生,进而看到业务价值、数据价值。
以通带存。在应用场景中,要把数据拉通,数据拉通之后,对于存储的要求很高,在这一过程中需要进行存储的考量,如怎么样来支撑未来业务的发展,存储能力是否可以和以后深度学习知识、学习框架进行结合等。
以存训算,拥有数据基础后,包括计算能力、算法的数据基础等,这时算法、以及智能化应用场景才有了可行性基础。于是要以存储的内容来训练 AI 能力,或者是算法模型能力,将这些数据中的资产内容进行提炼,之后回到应用场景。
所以其核心关键在于如何能够就一方面避免被业务影响,然后进行纯支撑某单个业务的数据中台建设。同样,我们在构建整个中台时也需要多考虑,以找到一个具体的场景进行切入,然后真正突出价值之后再去做扩展。
(欢迎小伙伴们加入 数澜社区 一起学习 大数据~)