解决方案架构师运维平台搭建数据仓库

1-数据基础能力建设-从数据仓库到数据分析

2018-09-23  本文已影响205人  馒头白鱼

完整的数据框架,从数据源到处理数据,使用数据:

数据框架

拆分各个层面来看,先看最底层的 数据仓库(数仓)

1.数据基础平台

Hoop-hive->mysql->tableau or clickhouse->mysql

目前大部分的数据使用都是“大数据模式”,从集群的存储到各个多线程并行查询计算,再到自动化机器学习和基础数据挖掘

数仓基本框架

2.数据体系和可视化

XXX or tableau

3.产品与运营分析

精细化运营的场景生存在单纯的数据监控和统计已经不能支撑其业务发展的时候,这就需要数据分析同学分析产品的 1,用户画像、2,用户的行为等,以便运营同学发现运营中的问题,挖掘潜在的机会点

4.精细化运营平台

准确的帮助运营同学把目标用户提取出来做精细化运营

5-6 就不说了,懒

使用场景是依赖技术的革新

技术和业务的相互迭代

从早期的单机收集数据、拼凑报表到现在的在线实时计算和机器学习,不断的完善数据基础功能、扩展数据的应用场景,进而把数据的价值最大化

全面分析--业务的数据体系建设

进入正题:


搭建数据框架的组成结构

1. 业务体系(业务构成)-熟悉业务逻辑

这里更多指的是业务构成。无论是作为一个运营产品经理、数据产品还是BI同学,不了解业务数据体系就像有一本武林秘籍却没有内功心法。

熟悉业务逻辑~

熟悉业务逻辑!

熟悉业务逻辑!!!

想要把数据发挥更大的作用,就需要了解团队里或者部门中其他人在做些什么?有没有可以合作的地方?是否可以把成功的案例拿来套用?

这就是leader在入职的三个月常对新人说的。“老哥,你了解业务逻辑了吗?你知道产品要这个数据干嘛吗?你知道运营怎么用这个数据,怎么衡量这个数据吗?”

将各个负责的人,思考的点,给连起来。其实就熟悉你所在的产品/部门的所有业务逻辑

例如 某产品的业务框架图,我们人人都需要对自己的业务进行完整的梳理(千万不能偷懒,不然后期很难执行业务工作):

某产品的业务逻辑

通过梳理业务逻辑,可以很快的了解到增值产品部有的业务模块构成。任何一个增值业务都可以在上图的二级节点里找到自己的位置。

这么构建的两个优点:

a) 即便是多元化和产品更新迭代速度快的产品,也能清晰的了解业务结构

b) 把各个业务从逻辑上划分5大块,如果有一部分出问题,能快速定位

在某个数据源出现数据上报错误,或是产品改动,crash等,可以进一步拆分问题,找到源头。在产品优化的过程中,可以对各个数据进行拆分,然后给出具体且专业的意见。

2. “数据体系”的四要素

某产品/某业务/某功能---为什么要这么设计?

a)业务洞察

  思考为什么?数据上游和下游

b)数据分类

  业务数据,用户自身数据,产品功能数据

   对一个业务团队来说,用户数和收入是必然关注的两块指标。

   活跃:各个业务的DAU、特权活跃、平台活跃、各渠道流量、页面漏斗转化等

    付费:收入金额、ARPU、付费转化率、支付渠道、支付入口、ROI等等

    用户研究:她有各种页面转化率、生命周期管理、留存率、用户画像和各种业务重合度、用户等级体系

c) 逻辑抽象—— 脑洞大开,你的能力超乎你的想象

    根据以上2块内容,可以把会员业务抽象成五大模块:营收体系、活跃体系、成长体系、关怀体系、用户研究。

d)绘图软件

    常用的绘制软件有MindManager、Xmind,软件提供了各种场景,选一个合适的Map。

    常遇到的问题:数据分类和业务架构怎么结合?

    解答:每个业务都有活跃付费、以及它的留存等相关数据结构,但这里的会员数据体系更多是让我们了解整个大的业务数据体系。如果想要详细的看数据,那么就需要把它转化为“指标体系”。

3. 指标体系

 做社交互联网的数据分析指标体系和其它行业的指标体系不同,有做交易支付为目标的,也有做用户流量的。所以了解业务形态,是首要任务。大到方向,小到细节。

step 1 走出去,先和运营的产品同学聊聊。看看他们都关注什么,他们对业务的理解是什么。他们平时都看什么指标。例如业务今年KPI是年收入80亿,而你只关注大盘趋势忽略各平台入口的流量和付费转化。所以指标体系不是大而全,需要有侧重点。

step 2 看看不同层次的人对这个业务的理解。业务leader和运营同学具体看的维度和思考的维度会有不同,了解不同的思考维度和声音,对建立不同的数据体系有重要的意义。

step 3 了解用户的声音,往往用户的声音才是对一个产品和平台最真实的反馈,这些需要数据指标体系来量化

构建指标体系

这么设计的优点:结合了业务洞察和数据分类,抽象成直观可量化的指标,进而监控业务的运营状况;帮助运营同学和开发同学快速拆解定位;能够快速复制到其它业务。

4.  分析体系

如果说单张报表是让你了解某块数据的“点”,那么报表体系就是把这些点组在一起的“线”。然而怎么综合评估某业务/产品的运营状况是否健康、未来的机会点以及风险呢?那么需要我们把这些“线”织成一张网。

SWOT方法,案例如下:

如何判断QQ会员的S、W、O、T呢?

S: 通过分析用户属性与营收贡献判断我们的用户主要构成与优势的渠道/平台

W:通过分析用户健康度、特权活跃来看我们还有哪些空白领域未填补,以及哪些功能是占据大量资源但收益较低

O:通过分析用户属性和平台流量的转化比,发现潜在的机会、挖掘新的内容进而扩大业务盘子

T: 通过分析用户规模、竞品对比、平台和市场前景等角度发现会员可能遇到的挑战

qq会员-分析体系样例分析


总结

充分理解数据体系的商业目标,设计科学严谨的产品数据体系,做好数据上报的规范,结合大数据存储和计算的能力,搭建具有大数据技术能力的数据分析和数据挖掘体系,并在这些基础上形成数据体系设计、数据上报采集、数据存储计算和数据分析挖掘的良性循环。

上一篇下一篇

猜你喜欢

热点阅读