中邮智递通过数加和datav将系统和服务迁移到大数据平台

概述

中邮智递数据平台发展到现在经历了四个阶段:

(1) 直接在业务生产系统开发生成报表,提供业务部门查询

(2) 采用kettle等工具抽取各业务系统数据并处理生成报表

(3) 使用hive构建离线数据仓库,抽取业务数据统一处理并生成报表推送至报表系统

(4) canal+kafka+tidb构建实时数仓进行实时OLAP分析,spark streaming+kafka+redis构建实时数据展示

最近我们在尝试把现在ECS主机上的系统和服务迁移到阿里云的大数据平台中,例如数加和datav。以及使用ADB实现实时OLAP达到低延迟,高并发。

数加使用实例

我们将数据仓库一个非关键主题-基点模型的全部业务链路迁移到数加中,使用数加的数据集成可以进行数据加载和数据导出,数据开发可以进行数据仓库模型开发。能够进行调度依赖配置和血缘关系、生命周期管理，如图1所示。

数加的运维中心能够查看任务的运行情况,与历史运行情况的对比。以及查看具体的任务运行日志、配置告警监控，能够完美替换类似azkaban，airflow等工作流调度工具，如图2，3所示：

图1

图2

图3

数加数据集成模块自带各种数据源的接入,包括阿里云的各种组件以及一些常用的数据源。满足从关系数据库,现有大数据平台,nosql等数据源接入和导出数据。结构清楚，配置简单，避免了以前接入异构数据需要开发多种接入程序的问题。如图4所示。

图4

数加数据开发模块可以完成离线数据仓库hive的模型开发功能，如图5所示。数据管理模块可以查看数据开发概览，元数据管理、权限管理、血缘关系管理、查找数据,如图6所示。也可以通过客户端操作odps的数据，如图7所示。

图5

图6

图7

datav使用实例

中邮智递以前的实时数据大屏展示是由数据开发使用spark streaming+redis+前端开发的模式来完成的,优点是自定义程度比较高,前端同事可以使用各种图表框架进行数据实时展示，权限接入和业务系统接入也能完美兼容我们现在的统一系统接入平台。缺点当然也很明显，每次任务开发需要前端参与开发，需要占用前端开发资源，迭代的时效性也比较差。特别是一些非长期型的实时展示项目，需要快速迭代上线，一定时间周期之后会废弃。例如短期活动开展,类似双11营销活动，以前的开发模式就不是很适用。Datav可以同步简单配置使用各种图表和特性,非前端开发人员通过配置就能使用地图、散点图、柱状图、飞线，并将生成的图标发布到现有的统一业务接入系统.如图8所示。

图8

查看更多：https://yqh.aliyun.com/detail/6518

上云就看云栖号：更多云资讯，上云案例，最佳实践，产品入门，访问：https://yqh.aliyun.com/