深入了解HBase架构
HBase组件
HBase是典型的主从架构，包含三种类型的server。Client直接与Region server通信进行数据读写，HBase Master负责region分配、DDL(创建、删除表)等操作，Zookeeper则负责维护集群状态。
每个RegionServer与DataNode协作的，其所管理的数据都由对应的DataNode存储。所有的HBase数据都保存为HDFS文件形式。这是一种本地化策略，所有的读写操作都是在RegionServer所在机器完成，当然不包括region被移动的情况。
NameNode维护了所有数据块的元数据信息。
image.png
Regions
在水平方向上，HBase Tables根据RowKey被划分为多个Region。一个Region包含了在start key和end key之间的所有行。这些Region被分配到集群中不同的节点上，也就是Region Server。一个Region Server大约可以管理1000个Region。
image.png
HBase Master
Region分配、DDL操作都是由HBase Master进行管理。
Master负责的内容如下：
-
协调region servers
- 系统启动时分配regions，进行宕机恢复或者负载均衡时重新分配regions
- 管理集群中Region Server实例（监听Zookeeper通知） -
管理功能
- 创建、删除、更新表
image.png
Zookeeper-协调者
HBase使用Zookeeper实现分布式环境中的一致性，它可以维护集群的共享状态，在Master失败时选举新的Master，在Region Server失败时发送通知，以便恢复。值得注意的是为了保证一致性，我们一般使用3台或者5台机器构建Zookeeper集群。
image.png
组件如何协同工作
Zookeeper是用于协调分布式系统成员之间的共享状态信息。Region Servers和活跃的HMaster通过session连接到Zookeeper，然后Zookeeper通过心跳为这些session创建临时结点。
image.png
每个Region Server都会创建在Zookeeper中创建一个临时结点，之后HMaster可以通过这些临时结点发现集群中可用的Region Server，当然也可以发现宕机的server。HMasters同样回创建临时结点，Zookeeper会选择第一个创建的HMaster临时结点，将其作为active的主节点，其他HMasters作为备用进行failover。active的HMaster向Zookeeper发送心跳，其他HMasters监听active HMaster失败的通知。
如果某个region sersver或者HMaster无法发送心跳，对应的session会过期，然后对应临时结点会被删除。监听器会监听到结点被删除。HMaster监听到region server不可用时，会进行region server的故障恢复。Inactive的HMaster监听到HMaster的失败时，它会尝试变为active HMaster。
HBase读写
HBase中有一个特殊的表叫做META表，其中保存了regions的位置。而这个表是保存着在Zookeeper中的。
当客户端要向HBase进行读写操作时，流程如下：
1.从Zookeeper获取META表信息
2.根据要查询的RowKey从META中匹配对应的Region Server，这些信息都会缓存下来
3.从对应Region Server读取行
对于接下来的读写请求，client直接使用缓存获取相应Region Server。除非region被移动导致缓存没有命中，它才会重现获取META表并更新缓存。
image.png
HBase Meta Table
-
Meta Table保存了系统中regions列表。
-
Meta Table像一棵B+树
-
Meta Table的结构如下：
- Key:region start key, region id
- Values:RegionServer
image.png
Region Server组成
Region Server是运行在HDFS的datanode之上，包含了以下部分：
- WAL：Write Ahead Log是为了存储还没有持久化数据的插入或者更新日志，以便在fail over时恢复数据。
- BlockCache：读缓存，存储了经常读取的数据，采用LRU算法。
- MemStore：写缓存，存储了还未持久化的新数据，在持久化之前会进行排序。每一个column family,每一个region都有一个MemStore。
- Hfiles：在磁盘上存储了行的排序键值对。
image.png
HBase写步骤-1
当client发起一个写请求，首先将数据写入write-ahead log，WAL的特性：
- 编辑操作是追加到WAL文件尾部。
- WAL是为了在服务宕机时恢复还未持久化的数据。
image.png
HBase写步骤-2
一旦数据追加到WAL之后，数据就会存入MemStore，然后写请求操作完成，并返回给客户端应答。
image.png
HBase MemStore
MemStore在内存中把数据保存为排序键值对，与磁盘上的HFile是一样的。
每个column family一个MemStore，更新操作也会进行排序。
HBase Region刷盘
每当MemStore积累了足够的数据，排序的数据集整个写入到HDFS上的HFile中。HBase每个column family都使用很多个这样的HFile存储实际的Key-Value数据。随着MemStore写满刷盘，会不停的创建HFiles。
这也是HBase限制column family数量的一个原因，因为每个CF有一个MemStore，每当MemStore写满，然后刷盘就会创建这样一个文件。同时最后一个写序号也会持久化。
最大的序号作为HFile的元字段存储，它可以反映持久化在哪里结束，将在哪里开始。当一块Region初始化时，所有序号读入内存，最大的序号被用于新的编辑操作。
image.png
HBase HFile
HFile存储了实际的数据，形式是排序的key/values。MemStore刷盘是顺序写的过程，速度非常快。
image.png
HBase HFile 结构
HFile使用了三级索引结构使得HBase可以快速查询数据而不用遍历整个文件。多级索引结构比较像B+树。
- key/value是升序存储的。
- 通过rowkey索引“64KB”的blocks
- 每个block有自己的叶子索引
- 每个block最后一个rowkey放在中间索引
- 根索引指向了中间索引
Trailer指向数据块元信息，存储在文件的尾部。Trailer包含bloom filter和时间区间信息，bloom filter可以帮助判断文件是否包含指定rowkey，时间区间也可以帮助判断文件是否同rowkey时间版本一致。
image.png
HFile Index
HFile索引被加载到内存中，通过索引可以通过一次磁盘寻址完成查询。
image.png
HBase读合并
从上面的内容可以知道，rowkey对应的KeyValue可以出现在很多地方，已经持久化的存储在HFile中，最近读取的缓存在BlockCache中，最近更新的保存在MemStore中，那么当我们读取一行时，HBase是如何返回相应的Column KeyValue？其实读操作会合并从BlockCache、MemStore、HFile查询的结果：
- 首先从读缓存即Block Cache中读row cells。
- 然后从写缓存即MemStore中读row cells。
- 如果在前两步中没有拿到所有的row cells，那么将通过BlockCache和bloom filter将可能包含row的HFile加载到内存中
image.png
对于行的内容来说可能分布在多个HFile中，那么读时需要检查多个HFile，这回导致读取速度变慢。
image.png
HBase Minor Compaction
HBase会自动的将一些小的HFiles，通过归并排序的方式，合并为大的HFile，从而减少系统中HFile的数量。这个过程叫做minor compaction。
image.png
HBase Major Compaction
HBase还可以通过Major Compaction合并整个系统中的HFiles，每个region的每个Column family的HFiles会合并为一个HFile，这可以提高系统的读性能。但是由于在此过程中，HBase需要重写所有的文件，会占用大量的磁盘IO和网络带宽，会影响系统的写性能。
建议Major Compaction在晚上或者周末执行，以免影响系统性能。
image.png
Region = Contiguous Keys
下面是一些关于region的描述：
- 表在水平方向上被划分为多个regions，每个region包含了连续的、按key排序的行，key的范围在region的start key和end key之间。
- 每个region默认大小上1GB。
- Region由RegionServer管理，向client提供服务。
- 每个RegionServer可以管理约1000个regions。
image.png
Region Split
最开始每个Table只有一个region，当存储的数据越来越多，region分解为两个子region，并向HMaster报告。当集群负载不均衡时，HMaster可能将region分配到其他Region Server。
image.png
