大数据在金融行业的价值
要理解大数据在金融行业的价值,我们建议从4个V开始: 公司根据行业、公司自身的优先事项和目标实施大数据的某些方面。
容量(Volume)是指大数据技术处理多个Tbytes甚至Pbytes数据的能力。金融市场数据量的不断扩大,使v型数据成为优先考虑的对象。投资银行、资产管理公司和资本市场需要处理交易历史数据、大量报价、市场和客户数据。同样的情况也适用于保险和退休公司——它们需要大量的数据来进行适当的风险管理。
速度(Velocity)定义了数据分析的速度或将其发送到存储的速度。速度是大数据在企业金融中的关键:有效、快速地处理交易和其他交易是一个主要优势。
多样性(Variety)意味着大数据应用和算法可以处理来自不同来源的各种格式的结构化和非结构化数据。例如,企业财务中的大数据意味着机构处理参考数据、市场数据、客户请求等。
真实性(Veracity)有助于确定数据的准确性和适用性,什么是重要的,什么是不重要的——并将这两种类型的数据明确区分开来。真实性有助于更深入地了解数据上下文并使这些数据适用。
就拿招商银行使用的华为云大数据来举例:
1987 年,招商银行成立于中国改革开放的最前沿——深圳 蛇口,是中国境内第一家完全由企业法人持股的股份制商业 银行,也是国家从体制外推动改革的第一家试点银行,现已 发展成为沪港两地上市,拥有商业银行、金融租赁、基金管 理、人寿保险、境外投行等金融牌照的银行集团。近年来, 招商银行紧密围绕“轻型银行”战略,以客户和科技为主线, 实现“质量、效益、规模”动态均衡发展。2020 年招行正 式开始了全面数据中台的建设,提出了“人人用数,人人都 是数据分析师”的数据发展战略。
招商银行数据中心应用及数据库管理主管田永江:"数据仓库选型注重够大、够快、够稳。我们希望它的性能容量线性比非常高以便于扩容,达到上千台、100PB的级别。在快速方面,希望它能在不同主机之间充分并行,把性能发挥到极致。同时稳定也特别重要,既满足高可用又有容灾机制,各种故障场景都能从容应对。我们多个部门联合进行了全面选型,最终确定华为GaussDB(DWS)数据仓库作为我们新一代的平台。
为什么会选择华为云的数据仓库为新的平台呢?
1.充足的计算与存储能力
传统一体机数据仓库扩展性差,难以应对业务应用对容量和算力日益增长的需求,数据平台需要以合理的成本提供充足的资源供给。
file2.高质高效的数据应用环境
改善数据分散和烟囱式建设现状,以解决实际业务问题为出发点,建设企业级的数据能力复用平台,沉淀可复用易扩展的数据资产。
file3.自主可控赋能业务创新
建设安全可靠、技术领先、自主可控的数据平台,深度挖掘数据资产的价值,实现数据驱动经营。
file招商银行基于华为云GaussDB(DWS),构筑新一代更强算力、更大存储的云数仓
通过实时化监测和数字化呈现,实现零售客户体验升级
招商银行选型华为云GaussDB(DWS),与华为联合启动招商银行新一代分布式****云核心数据仓库建设及联合创新项目,已建成的240节点超大集群承载了全行所有零售数据应用,可存储10PB业务数据,容量提升超4倍,批处理作业运行总时间显著缩短;同时也提供强大平行扩展能力,彻底解决了一体机核心数仓扩展困难,操作难度高,成本高的困扰。并通过联合创新实验室,双方不断深挖金融行业的应用场景,在备份恢复、细粒度容灾、集群间高速互联互通、快速温备等多个课题上取得了突破。备份速度达到150T/小时,实现了多集群的统一逻辑访问,极大提升了生产效率。
金融行业当中,除了更快,更稳更高效之外还有非常重要的一点就是安全性,如果华为云的大数据不够安全,容易造成信息泄露等一些列问题,我相信银行是无论如都不会采取的。那么华为云大数据的安全性到底怎么样呢?
大数据安全[审计]
本系统支持大数据HDFS、HIVE、HBASE等组件的数据安全单向、双向审计功能,提供可视化、向导式、多层次的策略配置管理。丰富和灵活的规则体系,能够适应不同场景需求。允许用户量身定制审计维度和范围。细粒度的审计和智能的风险告警,更精准的剖析了企业数据资产的微观运动,任何风险异常一目了然。
大数据访问控制([防火墙]
以白名单、黑名单、灰名单为主单元,逻辑视图清晰,配置灵活简单。可基于角色、组、用户等不同层级进行授权管理,自动同步数据环境中已经存在的权限信息并实现转换兼容。可以精细化控制到HDFS的路径权限,HBASE的表、列簇、列权限以及实现HIVE的数据库、表、列权限等的控制。
大数据加密
性能优异,可支持PB级的数据批量加密和解密,能极大满足上游应用端的数据供给。提供公开加密算法:3DES、AES,以及国家批准的国密算法。加密策略能够细化到数据列级别,加密范围和粒度可自由组合配置。提供密钥统一管理中心,从而为保护敏感数据提供了更为严谨的安全保障。
大数据脱敏
采用动态脱敏的方式,对访问结果的敏感数据实时脱敏。采用完全自主的规则引擎和策略模型,性能与场景覆盖率领先国内同类大数据安全产品。可同时支持PB级别数据的脱敏处理,并能依据不同的角色、用户、用途、场景等实现不同层级和范围的脱敏处理。
file优势及特性
中安威士[大数据安全]平台,为Hadoop、Hortonworks、Cloudera以及国产大数据架构提供了数据访问审计、数据访问控制、数据加密、数据脱敏等安全功能。能够穿透企业生产系统,只针对企业数据资产实施安全防护,不再需要更改和对接已有的系统便可完成部署并独立运行。更精细化、系统性的保护了数据资产的安全。
本文由博客群发一文多发等运营工具平台 OpenWrite 发布