银行大数据技术选型方法

当今,信息技术为人类步入智能社会开启了大门,带动了互联网金融等现代服务业的快速发展,.现代信息技术正成为各行各业运营和发展的引擎.但这个引擎正面临着大数据这个巨大的考验。各种业务数据正以几何级数的形式爆发,其格式、收集、储存、检索、分析、应用等诸多问题,不再能以传统的信息处理技术加以解决,对人类实现数字社会、网络社会和智能社会带来了极大的障碍.纽约证券交易所每天产生1TB的交易数据;Twitter每天就会生成超过7TB的数据;Facebook每天会产生超过10TB的数据;根据著名咨询公司IDC的调查与统计,07年全球信息量约为165EB,即使在全球遭遇金融危机的2009年,全球信息量仍达到800EB,比上一年度增长62%;未来每隔18个月,整个世界的数据总量就会翻倍;预计2020年这一数字将达到35ZB,约为2007年的230倍,而人类历史5000年的文字记载只有5EB数据.上述统计与调查预示着TB、PB、EB的时代已经成为过去,全球将正式进入数据存储的“泽它(Zetta)时代”.

大数据应用的本质是对客户需求的认识和释放，应用效果取决于银行的综合运营服务意识，而选择一个合适的技术平台也是大数据成功应用的不可或缺的重要因素之一。本文重点介绍其大数据技术平台选型思路，探讨大数据技术在银行业的应用。

传统观点认为，MPP的适用范围为1TB~100TB数据量，数据量超过100TB，Hadoop更具优势。然而，近年来随着Hadoop开源社区的不断发展，特别是Spark2.0的发布让Hadoop焕发了新的活力。Spark 2.0具有RDD（Resilient

Distributed Datasets）和DAG（有向无环图）两项核心技术，基于内存计算优化了任务流程，具有更低的框架开销，使得Hadoop在MPP擅长的100TB以下数据量的处理性能也大为改善。以目前的Hadoop技术，100GB以上的数据量处理性能不弱于传统关系型数据库和MPP，10TB以上性能优势更为明显。

银行从经济成本和未来数据的非线性增长趋势的角度分析认为，传统的交易系统运用关系型数据库处理OLTP事务操作，产生的交易数据通过异构数据的批量复制方式或消息队列的准实时方式更新至Hadoop平台，Hadoop平台进行大体量数据的分析和挖掘，并提供基于大数据的应用系统实时检索的模式，与城市商业银行目前的数据架构相适应，决定选择Hadoop平台。

选择开源版本的Hadoop还是发布版的Hadoop？

众所周知，Hadoop的优势是没有额外的产品费用，技术更新快，开放程度高，应用服务集成商多。国内很多知名互联网企业在开源版本的Hadoop基础上优化形成了自己的大数据产品。

发布版的Hadoop具有成熟的高效技术支持。

大数据平台选型要点

1、性价比和扩展性

2.对SQL的兼容性

3.对于通用开发框架和工具的支持程度

4.具备事务的基本特性

5.图分析与流处理能力

6.数据存储形式的多样性

7.多用户多数据库的隔离

8.平台的研发能力和开放性

9.不同数据规模和应用场景下的性能表现

10．并行数据挖掘能力与R语言支持

11．非结构化数据处理能力

本文转至数矩科技，数矩科技是中国领先的价值数据互联运营服务商！我们致力于通过技术和业务的创新，为客户带来安全、合规、高效、并且低成本的价值数据互联运营服务！

矩盟：数矩联盟数据服务管理平台，基于数据联盟计算平台提供全链数据计算服务，使您轻松驾驭大数据，助力您的业务创新。

矩智：数矩智能建模平台，易用的操作界面，丰富的算法模型，可以使您轻松地应用机器学习和预测分析，以解决当今最具挑战性的业务问题。

矩策：数矩金融决策引擎平台，具有全球领先金融模型算法，结合国内金融业务特征优化，并应用大数据机器深度学习算法进行完善，形成最佳的金融决策引擎应用。