hbase架构

2019-05-23  本文已影响0人  AlexDawson

hbase是有字节码形式存储的

一、Client

1.包含访问HBase的接口并维护cache(缓存)来加快对HBase的访问

二、Zookeeper

保证了只有一个alive的Master,对RegionServer做健康检查,实时心跳,存储Region的寻址入口,存储HBase的scheme和table元数据

三、Master

Master为RegionServer分配Region,负责RegionServer的负载均衡,将失效的RegionServer(由zookeeper通知)中的Storefile转移到其他的RegionServer中,管理table的增删改操作

四、RegionServer

RegionServer维护Region,处理region的io请求,负责切分在运行过程中变得过大的Region

尽量避免过多的小文件和数据倾斜

五、Region

HBase自动把表水平划分成多个区域(region),每个region会保存一个表里面某段连续的数据

每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,region就会等分会两个新的region(裂变)

当table中的行不断增多,就会有越来越多的region。这样一张完整的表被保存在多个Regionserver 上。

hlog可以记录操作日志

region对应一个表

store对应一个列族

六、Memstore 与 storefile

一个region由多个store组成,一个store对应一个CF(列族)

store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore,当memstore中的数据达到某个阈值,hregionserver会启动flashcache进程写入storefile,每次写入形成单独的一个storefile

当storefile文件的数量增长到一定阈值后,系统会进行合并(minor、major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的storefile

当一个region所有storefile的大小和数量超过一定阈值后,会把当前的region分割为两个,并由hmaster分配到相应的regionserver服务器,实现负载均衡

客户端检索数据,先在memstore找,找不到再找storefile

hbase通过hdfsclient来存储数据存储到datenode上

上一篇 下一篇

猜你喜欢

热点阅读