第一章 总述
2019-01-29 本文已影响10人
被爱的天青色
大数据系统体系：数据采集、数据计算、数据服务、数据应用
一. 数据采集层：
1）web端日志采集技术方案：Aplus.js
2）app端日志采集技术方案: UserTacker
3）把数据从生产业务端传输到大数据系统：TimeTunnel 包括数据库增量数据传输 / 日志传输 / 实时流式传输 / 各时间窗口的批量传输
二. 数据计算层：
1）离线计算平台：MaxComputer
2）流式大数据平台：StreamComputer
3）数据管理的方法体系及工具：oneData
4）数据仓库：传统数据仓库（加工周期为年/月/周/日 T-1/小时）、实时数据仓库
5）数据仓库加工链路：ODS(operational data store)、DWD（data warehouse detail）、DWS（data warehouse summary）、ADS（application data store）
三. 数据服务层:
1)对外提供数据服务通过数据服务平台：oneService 以数据仓库整合计算好的数据作为数据源，以对外提供接口的方式提供简单数据查询、复杂数据查询、实时数据推送等数据服务。
四：数据应用层：
1）对内应用：
2）对外产品：生意参谋
