数据资产管理在腾讯游戏的实践
2019-10-31 本文已影响0人
王知无
本文是由来自腾讯的陈才进行的分享。作者专注数据资产管理，自动化运维，AIOps。
腾讯游戏大数据运营概况
file
每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20%。
在游戏大数据管控中，面临着众多问题与痛点：
- 数据多样化，缺少统一标准
- 计算逻辑理解一不致，导致统计结果有偏差
- 数据全链路质量问题，层次复杂、不能快速定位问题
- 游戏数据管控的问题与难点
- 数据质量偏低给数据应用带来的各种挑战
- 数据标准缺乏结构化管理，集成困难
- 数据分散，没有形成完整的成本管理
- 数据价值的评估较为困难
- 数据安全与合规保障的问题
历经6年在各阶段解决的关键问题，构建游戏大数据资产管理体系：
file
通过组织、流程、制度、技术等组合手段，确保数据交付的质量、效率、成本和安全，助力业务数据价值提升。
游戏大数据资产管理体系
file
元数据管理
- 异构适配，集中存储
- 业务指标，开放共享
- 描述数据，理解业务
- 自动构建血缘关系链
- 扩展能力，辅助运营
file
数据采集架构
file
- 单机： UDP：5W qps; KCP: 9w; TCP:10w
- 单机吞吐量：180Mbps
- 分布式高可用，双方扩容互不耦合
- 高可用，高可靠：扩容不丢失数据；WAL双备数据
- 完整率: 99.99~99.9999%
- 多协议支持；多数据格式支持
- 专业数据管理、数据运维
- 周边系统完善支持
数据标准管理
file
file
数据治理面临挑战
数据服务运营质量面临三大挑战：
- 全链路数据服务环节众多复杂，问题定位困难
- 业务服务故障，回溯数据问题非常困难
- 数据平台异常，如何快速评估影响面
解决方案：基于数据+业务血缘构建全链路质量保障体系
file
数据治理-血缘构建
数据与业务血缘关系链构建过程:
file
数据治理-血缘应用效果
- 构建数据与业务血缘，保障数据全链路服务质量SLA达99.99+%
- 1min内告警并评估影响面和问题快速定位
file
资产运营-成本管理
file
资产运营-数据生命周期管理
无数据生命周期管理会出现：
- 数据无序增长
- 成本快速上升
- 计算效率低下
-
数据维护困难
file
随时间推移，数据使用价值不断衰减，数据在线度就是反应数据的在线程度和使用衰减情况影响数据在线度的因素：数据使用价值和数据重要等级，而数据使用价值有跟数据访问热度和应用广度有关，数据在线度的关联函数为：
𝒚(𝒕) = 𝒇(𝑽(𝒕), 𝑰)
其中𝑽(𝒕)为数据使用价值， 𝑰为数据重要等级数据生命周期管理策略随在线度的变化而变化。
资产运营-数据安全管理
游戏数据资产安全管理 “四大” 关键举措：
file
file
数据驱动-数据价值评估
实施数据价值评估的意义
- 衡量业务的投入产出比
- 衡量数据发挥的作用
- 为产品提供运营决策依据
- 衡量数据服务平台能力水平
数据价值评估的难点
- 行业内无统一标准和方法
- 公司内缺乏可量化的估值体系
- 数据价值存场景化差异性
数据价值评估：
投入产出比ROI计算
结合数据成本与价值，计算数据服务平台投入产出比，为市场化数据管理运营提供直接依据
推动数据成本优化
减少投入，推动业务方实施数据服务成本优化
数据深度挖掘到精细化场景落地
放大价值，横向对比同类产品，协助业务方结合数据服务，发掘更多业务服务场景
file
数据资产管理实践步骤
总结：
file
关注我的公众号，后台回复【JAVAPDF】获取200页面试题！
5万人关注的大数据成神之路，不来了解一下吗？
5万人关注的大数据成神之路，真的不来了解一下吗？
5万人关注的大数据成神之路，确定真的不来了解一下吗？
