什么是MPP?
嗯哼,不是MMP ,我们今天要讲的是MPP~
1、首先,什么是MPP数据库?
MPP (Massively Parallel Processing),大规模并行处理系统。MPP架构是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。通过增加节点数目达到系统线性扩展。通俗一点讲,就像是把小数据库组织起来,联合成一个大型数据库。采用MPP架构的数据库称为MPP数据库。
2、其次,为什么需要MPP数据库?
2.1 海量数据的分析需求
传统数据库无法支持大规模集群与PB级别数据量;
单台机器性能受限、成本高昂,扩展性受限;
2.2 支持复杂的结构化查询
复杂查询经常使用多表联结、全表扫描等,牵涉的数据量往往十分庞大;
支持复杂sql查询和支持大数据规模;
2.3 Hadoop技术的先天不足
Hive等sql-on-hadoop性能太慢;
分析场景不一样;
SQL兼容性与支持不足;
2.4 MPP数据库应用领域
大数据分析:MPP数据库做大数据计算或分析平台非常适合,例如:数据仓库系统、历史数据管理系统、数据集市等。
有很强的并行数据计算能力和海量数据存储能力,但是他不擅长高频的小规模数据插入、修改、删除,每次事务处理的数据量不大。这类数据衡量指标是TPS,适用的系统是OLTP数据库。所以,报表统计分析、运维统计数据,快速生成报表展示都可以使用mpp数据库。
3、最后,新型数据库的未来趋势是?
"大数据"关注的更多是用户行为、群体趋势、事件之间的相关性等,而不仅仅是过去的KPI,。这就对数据分析平台对数据的分析能力和性能提出了新的要求和挑战。未来趋势是新型数据库将逐步与Hadoop生态系统结合混搭使用,用MPP处理PB级别的、高质量的结构化数据,同时为应用提供丰富的SQL和事务支持能力。用Hadoop实现半结构化、非结构化数据处理。这样可同时满足结构化、半结构化和非结构化数据的处理需求。