导读

从IT时代到DT时代，本文将从金融行业大数据发展现状、市场规模及前景、数据类型分析、应用场景、实际案例等方面简要分析大数据在金融行业应用发展。

IT时代是以自我控制、自我管理为主，而DT(Datatechnology)时代，它是以服务大众、激发生产力为主的技术。这两者之间看起来似乎是一种技术的差异，但实际上是思想观念层面的差异。未来，包括数据处理、综合处理、语音识别、商业智能软件等在内的大数据服务，将成为企业的下一步发展重点。

金融行业数据资源丰富，数据应用由来已久。从发展特点和趋势来看，金融数据与其他跨领域数据的融合应用正不断强化，金融行业数据的整合、共享和开放正在成为趋势。对于大数据的应用分析能力，正在成为金融机构未来发展的核心竞争要素。而针对金融机构转型，目前移动互联网化及大数据技术的迅速普及则为其提供了更多的利好可能。

金融大数据发展现状

数据容量大，涵盖范围广

在大数据时代，金融业数据迅速膨胀并呈现出几何级数的增长态势。由于行业特性，银行业在长期业务开展过程中积累了海量数据。从数据涵盖范围来看，数据类型包括以工资、公积金、消费贷款等为代表的结构化数据和以文档、图片、音像和地理位置信息等种类繁多的非结构化和半结构化数据。以银行业为例，每创收100万美元，会平均产生820GB的数据，数据强度高踞各行业之首，而在相同创收条件下，电信、保险和能源行业数据强度分别为490GB、150GB和20GB，由此可知金融业在大数据应用方面具备天然优势。

数据处理复杂，充分挖掘困难

商业银行数据体量庞大，在数据处理过程中存在很多问题，主要包括：

（1）数据治理体系化建设匮乏。现阶段商业银行尚未形成系统的数据治理方法和体系，缺乏有效的数据分类、整理和加工。

（2）数据资源管理整合度不高，内部可用信息使用率低下。当前商业银行的数据在组织内部处于割裂状态，缺乏顺畅的共享机制，难以实现数据的有效整合和使用。

（3）数据内容复杂多样，难以充分挖掘数据资源潜在价值。造成这一现状的原因在于商业银行非结构化数据占比不断上升，数据构造方法重复率高，且关系复杂。

数据资产化，应用场景丰富

国内商业银行现处于数据资产化、产业化的起步阶段，且银行运用大数据技术以描述性数据分析为主，预测性数据建模为辅，以自身交易和客户数据为主，外部数据为辅。数据资产目前最主要的作用是趋势预测和决策支持，典型的应用场景集中在营销分析、内部运营和风险管控等方面，具体应用案例包括交叉销售、客户群体划分、信用评分及违约监测等。当前我国商业银行大数据应用深度、广度和频度都与国际先进银行存在着巨大差距，迫切需要拓宽数据应用层面，实现数据资产增值。

数据应用难度大，制约因素多

1.大数据技术框架

大数据技术框架的组成部分包括处理系统、平台基础和计算模型。首先，处理系统必须稳定可靠，同时支持实时处理和离线处理多种应用，支持多源异构数据的统一存储和处理等功能。其次，平台基础要解决硬件资源的抽象和调度管理问题，以提高硬件资源的利用效率，充分发挥设备的性能。最后，计算模型需要解决三个基本问题：模型的三要素（机器参数、执行行为、成本函数）、扩展性与容错性、性能优化。这些要求对构建大数据技术框架提出了非常高的要求。

2.大数据应用推进和落地

商业银行大数据应用虽然在风控、反欺诈、征信等领域初见成效，但在其他层面暂时还处于探索阶段。究其原因，一方面只有当数据分析转变为企业业务方式后才产生价值；另一方面商业银行在新建应用系统的过程中缺乏数据思维，没有充分了解大数据分析的价值、战略和流程。同时大数据应用投资效果难以衡量，领域建模未得到充分重视。

3.数据安全与个人隐私

现阶段用户数据的收集、存储、管理和使用缺乏规范，主要依靠商业银行自律，用户无法确定自己隐私信息的用途。此外，鉴于国内商业银行体制机制限制以及尚未健全的金融法律法规体系，许多金融机构担心擅自使用数据会触犯监管和法律底线，同时数据处理不当可能会给自身带来声誉风险和业务风险，因而在驾驭大数据层面难以付诸实际行动。

金融大数据市场规模

金融行业竞争日益激烈，基于数据的精细化运营需求日益迫切是金融大数据发展的内在需求。金融企业经过多年的信息积累沉淀了大量高价值的数据，发展金融大数据成为必然方向。

据爱分析《中国大数据行业报告》中指出，2017年大数据行业整体市场规模1000亿，其中行业应用细分市场规模为700亿，是大数据行业最大细分领域，大数据在金融、政务、互联网成熟度最高。基础平台整体市场规模在100亿元左右，通用技术整体市场规模在200亿元左右。行业应用层，大数据在各个行业应用差异较大，应用相对成熟的金融、政府领域市场规模为200亿元。

金融、政务、互联网这三个行业的IT投入位列各行业前列，随着“互联网+政务”的普及、政务云和政务大数据的落地，政府2017年IT投入超过800亿元，占中国IT总投入的5-10%。金融一直是重IT投入的行业，以银行为例，2017年中国银行业整体IT投资为800亿元，整个金融行业的IT投资突破千亿元大关。

金融大数据发展前景

互联网的出现让海量的企业、个人行为数据的获取、存储、管理成为可能。大数据的发展已经在多个层面推进金融机构的业务模式不断发生改变。比如，在金融产品的营销设计、风险控制、扩展服务半径等方面，大数据都深刻改变了金融机构的经营模式，有效降低了成本、提高了效率。

从金融领域的视角来看，大数据在金融领域是一枝独秀，加上人工智能的兴起，规模急速地增长。在政策层面，国家多层面推进金融大数据发展提供了政策支持，金融行业经过一二十年的信息化的积累，从数据到技术，人才的储备等方面，都具有非常好的优势。

金融机构是大数据天生的合作者，一方面自身有着利用技术红利带来收益冲动，另一方面又有国内较好的信息化基础。因此金融大数据发展也促进了金融行业从多方面实现管理的转型和业务产品的创新，其中包括信用风险、客户服务、智能运营以及金融本身的产品。而金融行业在大数据领域里有着较好的场景应用，例如银行、保险、证券等，同时互联网公司在大数据基础上开展金融业务，这些业务跨过银行传统的信贷领域，开始向转账汇款、现金管理、资产管理、供应链金融、支付等领域蔓延。

金融跟互联网的融合是一个大势所趋，金融向互联网发展，互联网向金融转型，已经成为整个科技和互联网金融发展的焦点。中国是全球第二大经济国，金融业向实体经济、创新驱动的转型中，利用大数据技术，必将成为中国金融业的新增长点和新亮点。

金融大数据类型

金融数据从数据类型上进行划分，大致可以分为结构化数据、半结构化数据与非结构化数据三大类。

结构化数据

结构化的数据来源自金融企业运营数据仓储(ODS)和数据仓库(EDW)。EDW为企业提供分析决策服务，ODS主要实现企业数据整合、共享和准实时运营监控等功能。而通过Hadoop等组件的应用可以将数月前甚至几年前的历史数据进行迁移保存。在分布式存储结构下，结构化数据的存储计算可以得到巨大的改善，可对海量离线数据进行离线分析，将离线数据优势最大化，为金融企业用户打造立体用户画像提供最全面的数据支撑。

半结构化数据

半结构化数据的整合在数据整合中是最为复杂的。金融企业可对接来源于外部单位所提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分，数据整合完毕可快速进行建模分析。

非结构化数据

金融行业对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛，有新闻，视频，图片以及社交网络等数据。

金融大数据应用场景

从技术角度来看，金融大数据主要分为数据接入、数据存储、数据计算、数据分析四层。目前金融大数据典型的应用场景包括精准营销、舆情监控与股价预测、智能投顾、智能投研、监管科技、信贷风险评估、信息可视化、消费信贷、供应链金融、风险定价、黑产防范等。特别是在监管科技方面，大数据勘称市场风险、非法集资、异常交易等监测利器。

金融信贷

以前借款需要很长时间的审核，尤其是线下取证、财务报表、抵押担保、审批流程、领导签批、最后借款等环节，根据内在的大数据信用评估和内控技术，能够实现实时计算借款人的信用额度，在信用额度内实现即时放款。这是传统金融领域是难以想象的。而这种快速借款模式，将成为未来互联网金融时代的标准配置。

信息可视化

帮助双方站在同一个平台上相互模拟、相互评估与相互决策。金融信息可视化已经成为经济分析、管理决策、绩效评价等工作的必备工具，它将始终贯穿于金融活动的全过程。在技术变革的推动下，金融可视化成为未来发展趋势。数据可视化的最大价值并不仅在于直接将数据呈现出来，让人直观地感受到数据，而更在于思维模式和决策方式的转变。可以利用数据的可视化重新定义金融领域的数据模型，判断金融价值模型中的爆发点与增长的关联。

管理决策

在数据集成的基础上，运用大数据、云计算技术，将数据清洗，处理，然后输入模型，就能还原真实世界，得出精准信息，以此作为决策依据。未来的决策中人主观因素会弱化，大数据提供的信息使得决策更加科学智能化，动态实时化。

供应链金融

供应链金融的风险控制从授信主体向整个链条转变。供应链核心企业拥有良好的资产、充足的资金 和高额的授信额度。而依附于核心企业的上下游企业可能需 要资金，但是贷不到款。供应链金融可以由核心企业做担保， 以产品或应收账款做质押，帮助上下游企业获得资金。

风险控制

应用大数据技术，可以统一管理金融企业内部多源异构数据与外部征信数据，可以更好的完善风控体系。内部可保障数据的完整性与安全性，外部可控制用户风险。

智能投顾

智能投顾业务提供线上的投资顾问服务，能够基于客户的风险偏好、交易行为等个性化数据，采用量化模型， 为客户提供低门槛、低费率的个性化财富管理方案。智能投顾在客户资料收集分析、投资方案的制定、执行以及后续的维护等步骤上均采用智能系统自动化完成，且具有低门槛、低费率等特点，因此能够为更多的零售客户提供定制化服务。

金融大数据解决方案

微构科技的大数据和人工智能技术在金融行业已经全面服务了多家大型金融机构、保险、证券、互联网金融客户。在金融行业，积累了大数据基础平台、风控、智能营销、用卡欺诈行为识别、交易风险预判、客户画像、实时风险管控、用户信用体系等多个从平台到应用的产品和解决方案的案例，助力金融机构未来基于大数据和人工智能的创新发展。

针对金融行业大数据分析的特点，引入大数据平台架构，实现对海量的银行数据、证券数据、保险数据的自动化、高能效、虚拟化和标准化的存储和管理，保证金融行业海量交易数据的安全性、可靠性和高效的运营。

金融行业大数据总体系统架构分为五层, 分别是数据层，存储层，计算层，模型层, 应用层。模型层是整个大数据的核心部分，为上层应用提供数据支撑。

微构科技金融行业大数据解决方案能全面整合金融数据，具备全面的安全保障、强大的数据计算性能、先进的智能分析、便捷的协作分享等特性，充分发挥出金融大数据的价值。在客户深度分析，市场新业务开发，传统业务运营方面，具有高性价比，易于管理和扩展等特性，效果显著，为金融机构理解客户金融需求，把金融需求转化成金融产品，促建业务快速稳健的发展。

金融大数据案例分析

中信银行信用卡中心始终坚持"以客户为中心，为客户创造价值"的经营理念，在金融行业的持续化深入经营，在2017年发卡量已达4100万余张，日均产出4亿条消费数据标签。中信银行信用卡中心在客群分析、偏好预测、交易预测、客群推荐等大数据方面需求大幅度增加，同时也对数据分析处理时效与精准度有了更高的要求。

微构大数据基于具有超强计算能力的云计算中心平台，针对金融行业大数据分析特点同时结合信用卡业务场景，引用大数据平台架构为中信信用卡中心搭建“智慧分析挖掘平台”。实现对海量的银行数据、证券数据、保险数据的自动化、高能效、虚拟化和标准化的存储和管理，保证金融行业海量交易数据的安全性、可靠性和高效的运营。

平台基于卡中心云计算平台，集成了Spark、Python、R、XCBoost等机器学习框架、搭建支持深度学习的自助式数据挖掘分析平台，实现了一键建模和业务自助式挖掘分析，提升了大数据建模时效。智慧分析挖掘平台沉淀和固化了大数据中心历史丰富的客群分析、经营分析经验，打造客户画像智慧分析模块，实现智能化、自动化、可视化分析、提升了分析深度与时效。

微构大数据在当前中信银行信用卡中心大数据环境下，通过数据实时采集项目提供统一的数据实时及批量采集、数据存储分发、数据实时消费等功能：

实时采集业务数据库数据到消息中间件，批量采集批处理产生的文件到文件系统，为后端的实时计算和批处理提供数据源；

统一数据接入方式，数据消费方式，权限控制方式，任务管理方式；

通过提供统一的数据采集，数据存储分发功能，对数据库数据，业务日志，后台计算产生的中间数据进行收集，以实现异构数据库实时同步，流计算，数据快速批处理等功能。将业务端产生的数据准实时/批量同步到消息中间件/文件系统，并提供给其它系统进行消费。

整个系统架构分为以下几个部分：

1. 数据采集层，用不同种类的的agent 对接不同数据源实现数据采集，主要包括：Mariadb-binlog采集，直接sql抽取数据采集，对文件直接采集；

2. 消息中间件和文件系统，将采集的数据存用消息的方式进行存储，用于实现消息存储/订阅/消费，同时也支持将采集的数据存储到文件系统上（Ceph/Ftp等），用于块式文件的中转；

3. 管理模块，进行元数据管理，用户/权限管理，任务管理，数据质量管理监控；

整体性能：

1. 支持每日10T/500亿条记录同步，支持节点水平扩展；

2. 批量采集：实时方式数据采集-同步到消息中间件，对单条记录，时间控制在5s内；整个批次的延迟不高于文件dump+scp的2倍；

客户智慧分析挖掘平台全面服务于新客户获取、客户深度经营、全流程风险防控等领域，极大提升获客精准营销及经营管理效能。

金融大数据的挑战与未来

金融服务的方式和工具在随着技术的成熟发生变化，但金融的本质不会改变，即解决信息不对称的问题。而大数据恰恰提供了一个解决信息不对称问题的有效渠道。目前金融大数据的应用挑战至少包括三方面。

一是金融行业的数据资产管理应用水平仍待提高；

二是金融大数据应用技术与业务探索仍需突破；

三是金融大数据的行业标准与安全规范仍待完善。

相关机构应及时出台促进金融大数据发展的产业规划和扶持政策，并分阶段推动金融数据开放、共享和统一平台建设，强化金融大数据行业标准和安全规范建设。

现阶段，“大数据+”产业发展呈现两方面的深度应用，表现在于为用户“画像”，让企业对用户进行细分，提升业务精准度成为热门。未来，除消费产业大数据之外，大数据应用还在向产业互联网方向延伸。大数据应用技术不断开发、完善，越来越多的“数据信息孤岛”被打破，呈现跨行业、跨领域的数据交流与融合。