为什么需要数据建模?
2017-08-23 本文已影响0人
编程回忆录
数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。
有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处:
- 性能:良好的数据模型你帮助我们快速查询所需要的数据,减少数据的IO吞吐。
- 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。
- 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。
- 质量:良好的数据模型能改善数据统计口径的不一致性,减少计算错误的可能下。
从OLTP和OLAP系统的区别看模型方法论的选择:
- OLTP系统通常面向的主要数据操作是随机读写,主要采用满足3NF的实体关系模型存储数据,从而在事务处理中解决数据的冗余和一致性问题。
- OLAP系统面向的主要数据操作是批量读写,事务处理中的一致性不是OLAP所关注的,其主要关注数据的整合,以及在一次性的复杂大数据查询和处理中的性能,因此它需要采用一些不同的数据建模方法。