网易严选数据中台的经验和方法论
2019-11-04 本文已影响0人
数据智能谷
作者：魏文庆，网易严选数据技术及产品部总监
image.png
image.png
从供应侧保障数据的完整性和质量：夸父-埋点管理系统提供了埋点的管理、埋点流程协同和埋点测试，提供了埋点日志的scheme，保障了埋点数据质量。精卫-数据填报系统提供数据导入数仓及导入时的验证功能，提升数据的完整性。从需求侧提升数据(指标)的一致性：仓颉-指标管理系统，在提供指标统一管理的同时，提供了指标定义规范的约束。燧人-指标地图是提供给业务方查看当前的指标分类与指标定义。数仓开发的质量与效率：北斗-数仓设计管理系统将数仓开发的经验知识化、标准化、工具化。数据质量中心提供全链路的数据保障体系，提供任务监控、数据监控、应用监控、影响范围评估和恢复的支撑。
统一查询服务已经接入了67个应用、670个模型、每天有300w的调用。
场景建设
数据质量体系
统一查询服务是数据体系和数据应用系统之间的总网关，需要提供模型级限流、熔断等网关功能。
可视化
