时空大数据GISGIS&LBS

新时期GIS-T技术发展及建设的思考

2017-10-11  本文已影响320人  天地玄黄一路向南

0  引言

近30年来,随着信息技术的发展,地理信息系统(GeographicInformation System,以下简称GIS)在交通领域的推广与应用在国内外受到了极大重视。目前已经被广泛应用到智能交通与交通运输管理的各个方面,并正逐步发展成为一门新兴学科—交通地理信息系统(GeographicInformation System for Transportation,即GIS-T)[1]。

在交通运输部做出的交通运输信息化“十二五”发展规划中,又对“GIS-T”做出了更加明确的定义,即面向交通行业的地理信息共享服务平台。规划发布之后,全国各级交通信息化主管部门逐步开展了“GIS-T”的规划和建设工作。经过几年的积累,部分省份已经成功完成了平台的建设,并且应用效果显著。与此同时,还有大多数的地区没有启动针对“GIS-T”的建设项目。面对这样的局面,我们通过多年的GIS产品研发和行业资讯的积累,从用户的反馈和项目中收集归纳各种问题,针对当前一些IT技术的研究,期望可以将部分技术成果总结出来,有效的促进GIS-T的技术发展。

除此之外,从GIS-T建设的整个过程中,可以发现,能够让GIS-T真正发挥其作用,单凭技术是不够的,也需要从建设模式的角度做出更适应GIS-T发展的调整。本文也将针对这一目标,提出一些思考和建议。

1GIS-T应用发展现状分析

1.1发展分布和成熟度

GIS-T建设规划的前身,是各省展开的信息资源整合工作以及相关的示范工程建设项目。通过信息资源整合,将一些交通基础设施的空间数据通过一定的规范收集整理,建立了交通空间信息数据库,进而开发应用项目。

但随着信息化建设发展,整合之后的交通空间信息,以及各部门之间的自有的数据共享要求更加明确,建立共享平台GIS-T的规划随之到来。

区域建设分布

GIS-T的建设以省级平台建设为先发,经过了几年的建设,设立专项建立GIS-T平台的省份并不多,只有辽宁、陕西、江苏、福建。这些省份都已经基于平台发布的服务研发了如交通应急处置、公共出行服务、水路交通等多个应用项目。实现了地理信息服务的标准化,节约了重复采购GIS平台和数据的成本。

而其他省份有的在开发建设中,有的还在前期策划阶段。这些后来居上的省份也在积极参考建成的省份的成功经验,规划设计的模式基本一致。

图1 GIS-T建设地理系分布图

Fig. 1 GIS-T construction ofgeography distribution

建设成果分析

已经建成的GIS-T项目都实现了如图3类似的系统架构。建立统一的、标准化的交通空间数据库;基于商业GIS平台软件发布各种地理信息服务,行程统一标准的服务平台;建设统一的门户系统和服务运维管理平台,实现对服务的注册、审核、发布、授权、运维监控等管理操作,实现用户的权限管理等功能;最终对外提供多种开发SDK、开发模板,在此基础上开发面向于服务公路、航道管理等业务应用系统。

图2 GIS-T平台架构图

Fig. 2 GIS-T platformarchitecture diagram

1.2行业对GIS-T的理解

在GIS-T参与建设的多方单位中,主要按照角色可以划分为三个主体:交通主管单位的业主、交通行业信息化建设的开发商或集成商、专业GIS平台厂商。

从实际项目策划和实施过程中,我们发现任何一方都无法独立承担GIS-T的建设,这与各自专注的业务领域的经验积累有直接关系。

1.业主的角度

业主希望通过GIS-T的建设可以解决几个关键的业务问题,而这几个问题是传统的信息化项目难以克服的。

数据从哪里来?

交通业务数据包含的种类很多,各省市地区在数据采集、数据交换、数据管理等方面标准不一,影响了数据的及时上报和共享。

例如公路网等数据,每年都要定期更新;而施工阻断、交通事件等信息又要实时获取,不同类型的数据如何实现及时更新需要有更好的解决方案。

数据如何处理?

如何可以将数据规范化的收集起来,建立交通空间数据库,并充分利用这些数据。实现与各种交通业务模型结合,实现综合分析和数据挖掘,如:线性里程桩号与坐标转换,基于时空的交通流量统计分析等服务。

服务怎么用?

发布的服务涉及不同部门、不同应用系统的服务调用,要采用统一的标准服务才能更好的实现服务共享,目前REST和OGC服务标准已经成为服务共享的常用标准。

业务协同的问题

在面向不同业务方向的应用系统之间,往往需要调用其他部门发布的交通空间信息服务,从而实现业务的协同。而如何保证数据服务的可靠,实现基于多源服务的融合,满足业务综合分析的需求,是需要GIS-T的设计提供保障的。

2.开发商集成商的角度

开发商具备更多的交通行业应用项目的经验。既能够满足业主的需求,又可以最集约的方式完成项目目标,是主要考虑的因素之,同时可以积累建立GIS-T项目的经验。

3.GIS平台厂商的角度

平台厂商的关注点更多的是希望提供自己的产品技术和GIS相关专业技术支持服务,同业主和开发商一起成功实施更多GIS-T的项目。

1.3 机遇与挑战

GIS-T相对传统交通GIS应用项目有很多独特的地方,最重要的是要改变传统的GIS平台厂商只提供产品,开发商耗费了大量时间、人力在GIS的基础功能,业主的GIS应用需求难以实现的困境。

图3 GIS-T开发者用户价值

Fig. 3 GIS-T developer uservalue

基于GIS-T的成果业主、开发商和GIS平台厂商,需要充分发挥各自优势,不断创新,将主要精力集中在满足行业用户深入需求的工作中。

2 GIS-T关键技术发展

现阶段的GIS-T项目的成功经验中,已经应用了大量的先进的IT技术和GIS解决方案,比如:服务式GIS,空间数据库技术,基于Flex、JavaScript的GIS富客户端技术,以及移动式GIS技术等等。在成功应用这些技术之后,随着行业用户对GIS-T的理解更加深入,更多的业务需要与GIS结合,并且对技术提出了新的要求,下面将进行逐一阐述。

2.1交通实时数据服务技术

在交通领域管理的空间数据除了包括传统的矢量数据、海图数据、遥感影像等静态数据以外,还有大量的实时性很高的“动态数据”,如:车辆GPS定位数据、船舶AIS数据、传感数据、交通流量数据等等。

对于动态数据,主要采用消息服务,如:JMS,AMPQ等协议标准,以及Socket数据服务等形式发布数据服务。

GIS-T为了聚合这些不同协议的数据服务,需要定义一套统一的标准接口和服务框架,即基于消息的交通实时数据服务,它主要由消息服务、交换服务以及消息访问组件组成。

消息服务通过配置管理控制消息订阅、转发规则,管理消息队列,可对消息以点对点、发布/订阅等方式进行转发。

交换服务通过路由配置管理,对从数据网关接入的交通动态数据根据预定规则进行汇聚、分流、预处理,形成交通消息,通过消息服务进行转发。

消息访问组件负责交通动态数据的访问,通过对交通动态数据消息进行进一步抽象,提供简易的访问接口,方便各交通应用系统的开发集成,降低应用开发的难度。

消息服务、交换服务通过群集实现负载均衡及故障转移,支持大规模传感数据的收集及转发、支持大规模终端并发访问。[8]

图4实时数据服务架构

Fig. 4 Real-time dataservices architecture

2.2基于消息中间件的数据交换技术

在GIS-T建设初期,需要对数据采集、上报、审核、入库、归档等工作流程做出规划,其中需要通过IT技术实现空间数据交换。

传统的数据交换有几种方式:基于数据文件上传下载的交换方式;基于数据库将采集数据直接导入的方式;基于WebService交换服务的方式,这种方案目前应用愈加广泛,可以支持数据异步自动提交的方式,也不需要安装复杂的客户端软件。

为了要提高采集数据上报的频率,提高数据的及时性,解决并发高的问题,需要利用消息中间件实现数据交换服务的异步处理,将数据提交、检查、入库的流程解耦,从而实现多任务并行的数据交换服务。

图5数据交换服务架构

Fig. 5 Data exchange servicearchitecture

GIS-T数据交换系统由交换数据库子系统、交换访问服务、前置交换、交换传输、交换管理等模块组成。交换数据库包括若干交换数据库以及应用系统的各种公开业务接口组成。可根据不同的应用特点来灵活部署这些套件。

中心交换系统:部署在交通部交换中心,由消息中间件和适配器组成,消息中间件实现信息的传送和路由转发功能,适配器负责将经过中心的数据存储到共享数据库。

前置交换系统:部署在交通部交换中心,由消息中间件、适配器和交换数据库组成。交换数据库是部门业务信息库(或部门业务系统)与前置机的接口,发送方将要发送的数据放入交换数据库,接收方从交换数据库接收数据,双方都不需要关心底层传输数据的细节;适配器是交换数据库与消息中间件的桥梁,完成交换数据库与消息中间件之间的数据读写交互;消息中间件负责信息的传送功能,实现信息的上传下达。考虑到前置机集中维护、机房环境以及中间件成本,建议将各市级分节点的前置机集中放置在中心的GIS-T平台,并由两台高性能服务器来处理数据。

2.3 基于云计算的交通地理信息服务平台

GIS基础平台软件提供了GIS通用的功能服务,用户基于基础平台开发GIS-T项目必须在数据组织、制图表达、GIS开发框架等基础功能投入大量时间人力,而这些都是非GIS专业人员所不擅长的。

另外,GIS-T的核心价值之一是服务能力,必须支持提供高性能、高可用的交通地理信息服务,通过运维管理的保障平台正常运行。

对于交通行业信息化向平台化,云计算的发展趋势,GIS-T的规划设计需要从以下几个方面提供支持。

1.平台架构

图6 SuperMap GIS-T平台架构

Fig. 6 SuperMap GIS-Tplatform architecture

整个服务平台采用SOA架构,分为四个部分:

第一部分:交通空间数据中心,以标准数据规范保存各种空间数据,包括基础空间数据和交通空间数据。

第二部分:基础平台。提供通用的基础的服务引擎,并为服务交通专题服务扩展提供架构支撑。

第三部分:交通共享服务平台,提供GIS通用服务、数据服务、交通专业服务三个部分。

GIS通用服务基于GIS平台软件开发的通用GIS服务功能;数据服务提供与空间位置相关的交通信息,包括动态路况信息等;交通专业服务为交通专业应用提供的功能性服务。GIS-T提供开发接口API供服务使用者调用。

第四部分:应用支撑系统。支撑系统包括:空间数据管理子系统,共享交换工具, 平台管理系统,资源门户,开发模板等。

2.数据管理软件

C/S架构,负责数据的更新、数据拓扑结构维护、自动制图、缓存数据管理与维护。

3.服务管理软件

B/S架构,负责GIS平台的后台服务访问权限、服务注册、服务审核、日志、服务运维监控、服务配置等管理。

4.资源门户

B/S架构,为用户展现平台的数据内容、功能服务、示范应用等,也是平台的管理的入口。

5.开发模板

提供用户多套基于“GIS-T”平台服务的开发接口,满足桌面、网络、移动等多种应用需要。

6.制图模板

制图模板提供对符合标准数据图层的风格配置模板,支持自动化制图。可以保证地图显示风格的标准化,提高工作效率。

7.智能集群

GIS智能集群技术具有异构、多层次、智能伸缩、自动同步、结果动态验证、可扩展等特点。

图7 SuperMap智能集群

Fig. 7 SuperMap intelligentcluster

支持跨平台的异构集群

支持跨硬件平台、跨操作系统平台的异构集群,不同性能、不同操作系统的服务器。

节点智能伸缩与自动同步

GIS智能集群系统通过集群节点的智能伸缩、和在此基础上的数据自动部署、节点自动同步技术,实现了集群系统的动态可伸缩。

8.云管理器

GIS云管理器是基于云计算的GIS-T管理和运维的核心。如下图所示,GIS云管理器可以通过IaaS API部署、GIS-T系统环境,如GIS-T资源门户、GIS-T共享服务(GIS通用服务、数据信息服务、交换服务等)、服务管理软件、数据管理软件。以及通过云计算对IT资源中心的资源进行充分利用,如基础GIS数据、CPU、内存、网络等,通过多租户技术在安全的前提下,充分利用已有硬件资源。

图8 GIS-T云平台架构

Fig. 8 GIS - Tcloud platform architecture

2.4面向大数据的交通时空数据挖掘与呈现技术

在GIS-T管理的大量交通业务数据,不同时期的数据需要通过对比了解发展趋势;在城市交通中,实时路况数据采集频繁,存储的数据量庞大,在不同的时间变化趋势明显,通过大数据的挖掘技术,可以直观的分析城市交通状况;二、三维可视化技术展现分析结果提供了更丰富的手段,以上内容可以采用的技术如下:

1.时空数据库技术

为了满足对整体交通状况的分析,时空数据库不仅仅是实现对数据按照区域和时间的存储和管理,主要应该提供通过时间和空间对数据进行筛选,完成统计分析,实现对交通状况的区域性的,有时序性的表达,甚至支持预测的能力。以下为时空数据库的表达方式的设计。

图9交通时空数据模型

Fig. 9Traffic spatio-temporal data model

数据库按照对象设计存储结构,保存空间信息和时间属性。通过网格化覆盖路段,实现空间的管理,同时包含时间属性。

2.基于NoSQL的数据挖掘分析服务

传统关系型数据库在处理数据密集型应用方面显得力不从心,主要表现在灵活性差、扩展性差、性能差等方面。采用NoSQL数据库技术,在没有固定数据模式并且可以水平扩展的系统,更加适合对实时记录的大数据量的交通状况历史数据进行挖掘分析。

NoSQL数据库技术具有简单的数据模型,采用Key-Value的数据结构;避免了不必要的复杂性,满足特定的功能来提高性能;具备非常高的数据吞吐量;支持高水平扩展能力和低端硬件集群;避免了昂贵的对象-关系映射。

GIS-T具备灵活的服务扩展框架,可以对接任何数据库引擎,基于NoSQL数据发布的数据挖掘服务,可以从上亿的数据中快速的分析出结果。

3.基于HTML5的数据可视化技术

GIS-T提供了多种客户端开发SDK,而面向 HTML 5技术的SDK是目前使用最广泛的 技术。基于HTML5的应用开发,支持多终端、跨浏览器的客户端开发平台。采用 HTML + CSS + JavaScript 的开发组合,无需安装任何插件,便可在终端浏览器上实现美观的地图呈现,大数据量高效的交互渲染,动态实时的要素标绘。

HTML5技术提供了大量的数据可视化技术解决方案,支持时空数据展示,结合时空数据库技术,应用HTML5新特性----帧,来实现动态地渲染矢量数据,能有效的展现空间数据在时间上的变化可应用于所有在时间节点上有变化的空间数据,如车辆监控、交通路况变化、交通流迁移、道路变迁等等方向。

图10交通流量状况

Fig. 10Traffic conditions

图11交通运输方向统计分析

Fig. 11Statistical analysis of the transportation direction

4.二三维一体化技术

在城市交通中依靠三维模拟仿真技术可以实现交通道路、交通条件变化对交通的影响,帮助交通规划部门了解不同交通需求下交通流运行状态的变化过程。

GIS-T目前已经可以通过支持二三维一体化技术,将模拟仿真模型分析的结果数据,发布为交通三维模拟仿真专题服务,基于二三维一体化的客户端可以呈现出动态的交通流的仿真效果,进而实现共享。

图12交通三维模拟仿真

Fig. 12Traffic 3D simulation

3.GIS-T建设模式分析

在GIS-T规划和实施阶段,除了对业务的整合,提供良好的技术支撑以外,要创建成功的GIS-T平台,还需要从建设模式做出调整。

交通领域信息化以往比较多的采用应用项目的方式建设,项目具有独特性和阶段性的特点。项目开发商完成一个项目交付给用户,最终由用户的团队为主对项目进行使用和维护。

3.1   GIS-T从平台化到可持续运营

GIS-T应该彻底摆脱传统的应用系统设计模式,改变项目阶段性的建设方式,走平台化和可持续运营的路线。

明确了GIS-T的定位之后,应用开发者不需要单独购买GIS平台,而是直接把数据通过GIS-T发布,使用GIS-T提供的开发SDK进行二次开发,功能数据只需要调用即可,拿来即用。因此需要GIS-T定期发布新的版本,提供新的数据、服务接口、开发SDK,才能满足应用开发的需要。

GIS-T上线后需要支持服务持续更新,业务部门尽量少的独立发布私有的服务,保障平台的扩展能力。

需要配备专业的技术团队对GIS-T进行持续的运营。定期更新数据和服务,并将变更新消息和新建的应用系统介绍放在资源门户中,向行业内推广。

需要持续的开发交通行业API,并对用户调用API的使用情况更进行统计,对使用量大的API加强维护。

图13交通API

Fig. 13Traffic API

需要加强对GIS-T服务平台的运维监管,通过用户权限的控制,对用户使用的服务进行审批。

需要支持对用户访问服务的频率进行监控,对于并发访问大的服务可以扩充计算资源降低服务压力。

需要支持对自动化的日志管理和问题报警,对系统运行的问题可以做到及时响应,一旦出现错误信息,可以通过邮件、短信等方式通知运维管理员,及时做出处理。

3.2   新时期GIS-T建设目标

交通业务系统的开发和GIS-T的建设应该是同步发展的。新时期对GIS-T建设目标可以归纳为几点:

1.具有专业团队,持续不断的对GIS-T进行运营;

2.根据行业需求,持续封装更新交通API;

3.用户不断增加,应用项目带来的运维压力不断增加;

4.应用开发终端丰富多样,展示效果丰富。

4 结语

本文基于对目前GIS-T应用现状的分析,结合行业用户的需求调研的成果,以及当前围绕平台化建设的先进IT技术,对新一阶段GIS-T平台建设发展的关键技术进行分析,通过技术手段解决业务中遇到的难题。并分析了GIS-T的建设模式和参与单位的优势,对其建设过程中应该把握的原则和运营模式提出思考和建议,最终希望可以在未来的项目中可以建设更加完善的GIS-T,真正为交通行业的管理业务提供强有力的支撑做出努力。

上一篇 下一篇

猜你喜欢

热点阅读