工作生活

Google思想体系

2019-07-02  本文已影响0人  陈超Terry的技术屋

Hadoop的诞生,是受到Google三篇论文的影响(GFS、PageRank、BigTable).

Google思想体系包含几个部分:

   1、分布式存储系统:GFS

    2、倒排索引

    3、PageRank

    4、BigTable

分布式存储系统:GFS

GFS

   搜索算法:倒排索引

倒排索引

PageRank,PR值

PageRank

   PageRank采用了MapReduce编程模型,进行并行计算。

    下图用一个例子,诠释MapReduce编程模型的Map和Reduce的分工

MapReduce例子

BigTable

   BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是快速且可靠地处理PB级别的数据,并且能够部署到上千台机器上。

    Bigtable是一个键值(key-value)映射。按作者的说法,Bigtable是一个稀疏的,分布式的,持久化的,多维的排序映射

    Bigtable的特点

1、适合大规模海量数据,PB级数据;

2、分布式、并发数据处理,效率极高;

3、易于扩展,支持动态伸缩;

4、适用于廉价设备;

5、适合于读操作,不适合写操作。

6、不适用于传统关系型数据库

上一篇下一篇

猜你喜欢

热点阅读