Google思想体系
2019-07-02 本文已影响0人
陈超Terry的技术屋
Hadoop的诞生,是受到Google三篇论文的影响(GFS、PageRank、BigTable).
Google思想体系包含几个部分:
1、分布式存储系统:GFS
2、倒排索引
3、PageRank
4、BigTable
分布式存储系统:GFS
![](https://img.haomeiwen.com/i7745520/fff2d06cb787c965.png)
搜索算法:倒排索引
![](https://img.haomeiwen.com/i7745520/6b9446e1f9243fe5.png)
PageRank,PR值
![](https://img.haomeiwen.com/i7745520/26f861dd9a6829f6.png)
PageRank采用了MapReduce编程模型,进行并行计算。
下图用一个例子,诠释MapReduce编程模型的Map和Reduce的分工
![](https://img.haomeiwen.com/i7745520/db6f221334e5d28d.png)
BigTable
BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是快速且可靠地处理PB级别的数据,并且能够部署到上千台机器上。
Bigtable是一个键值(key-value)映射。按作者的说法,Bigtable是一个稀疏的,分布式的,持久化的,多维的排序映射
Bigtable的特点
1、适合大规模海量数据,PB级数据;
2、分布式、并发数据处理,效率极高;
3、易于扩展,支持动态伸缩;
4、适用于廉价设备;
5、适合于读操作,不适合写操作。
6、不适用于传统关系型数据库