工作生活

Hadoop2x的体系架构

2019-07-02  本文已影响0人  陈超Terry的技术屋

(一)存储海量数据的HDFS

HDFS的体系架构

     1.NameNode和DataNode

            NameNode:

             (a)负责接受客户端的请求

             (b)负责元信息的维护

             (c)HDFS的管理员

            DataNode:

              (a)保存数据

               (b)block数据块:hadoop 1.x的block是64M;hadoop 2.x是128M。

        2.上传和下载过程

               上传:

HDFS上传过程示例

                       下载:

HDFS下载过程示例

                   3.SecondaryNameNode:负责元信息的合并

                           (a)FSImage文件:元信息在硬盘上的景象

                           (b)Edits文件:HDFS日志文件,有元信息的最新操作日志。

                           (c)合并过程:合并FSImage文件+Edits文件,形成最新的FSImage文件

合并过程示例

海量数据的计算模型MapReduce(Yarn)

Yarn运行过程示例

HBase

   体系结构

HBase的体系结构

表结构

    体系结构的region=列族

表结构
上一篇 下一篇

猜你喜欢

热点阅读