数据交换平台的功能结构设计与实现

数据交换平台定义

数据交换平台是指将分散建设的若干应用信息系统进行整合，通过计算机网络构建的信息交换平台，它使若干个应用子系统进行信息/数据的传输及共享，提高信息资源的利用率，成为进行信息化建设的基本目标，保证分布异构系统之间互联互通，建立中心数据库，完成数据的抽取、集中、加载、展现，构造统一的数据处理和交换。

数据交换平台是数据中心与其它应用系统沟通的桥梁，是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据，对数据进行清洗与整合，按照数据中心建设标准规范化原始数据，最终形成业务核心数据库，并提供给其它应用系统使用。本文将重点介绍数据交换平台的功能结构设计与实现。数据交换平台功能结构设计如下图所示：

数据交换平台功能结构

从功能设计上，将数据交换平台功能划分成支撑功能与应用功能两部分。支撑功能是数据交换平台的基础，包括数据采集、元数据管理、数据交换服务总线、平台监控及安全管理功能。应用功能是指与具体业务系统相关，应用功能利用数据交换平台的数据交换服务总线，以数据交换服务的形式为各业务系统提供数据共享服务。

数据交换平台具体实现功能包括数据采集、元数据管理、数据交换服务总线、平台监控和安全管理功能：

（1）数据采集

主要实现三种采集方式：数据复制采集方式、ETL工具采集方式和专用数据采集接口采集方式。数据复制是通过将源数据库中的数据复制到目标数据库中，以保持源数据库与目标数据库的一致性，一般采用全量复制和增量复制两种方式，当然，数据复制适用于被采集的数据无需进行负责的数据转换。ETL工具适用于数据源中被采集的数据需要转换的情形，专用数据采集接口适用于数据复制和ETL工具难以满足数据采集任务的情形，通过自行开发实现。

（2）元数据管理

主要是实现对自身元数据的管理功能，包括对元数据的增加、修改、删除、浏览查询等一般维护功能，以及维护元数据之间的关联、依赖关系，并提供元数据的影响分析、来源分析。

（3）数据交换服务总线

主要是实现数据交换功能，数据交换服务总线由一组基本的交换服务功能组成，包括接入服务、访问控制服务、消息转换服务、路由服务、适配器服务以及管理服务等。

（4）平台监控管理功能

主要是实现对平台各个系统组件的状态、日志、异常等进行监测，并进行记录、统计与分析。

（5）安全管理功能

主要是实现平台数据的安全交换和用户的身份认证和授权功能，包含平台访问安全和数据交换安全两个功能。

亿信的数据交换管理平台正是立足于解决相互独立的业务系统之间的业务数据可以无障碍传输共享的问题，通过丰富的数据处理和交换任务设计，对分散的业务系统进行数据整合，消除“信息孤岛”，实现各类业务系统的互通互联和数据共享，形成统一的数据服务层，为政企机构业务信息服务提供可靠的数据基础。

强大的功能特性

传输节点管理

提供丰富的数据源接口，除支持主流的数据库和大数据外，还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数，能直接完成跨数据库的数据关联取数。

图：数据源接口

提供丰富组件

提供了丰富的传输组件、文本解析组件、接口组件、转换组件、流程组件等的可视化组件来保证数据交换功能的完整性，还提供了脚本组件保证数据交换平台的扩展性。

图：内置交换组件

可视化运维与监控

支持拖拽式方式设计流程，通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发，通过检测执行时间、监听数据库、指定文件变化来触发调度，灵活进行数据抽取和交换。

图：可视化流程示例

安全高效的数据交换

支持数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制，让数据传输更安全可控；数据分区、并行装载技术让数据传输更高效快速。

图：设置脱敏方式