HBase总结-基础篇

一．HBase特点：

1.弱视图，HBase是一种高效的映射嵌套，用户可以在运行时定义列，每一行都有属于自己的列。

2.非标准化数据。

二．HBase表组成

1.行健，按字典顺序存储。

2.列簇，一组列的集合

3.单元格，列和行的交集是一个单元格，单元格是版本化的（默认使用时间戳），最新的版本在最前边，默认保三个版本。单元格中的数据以二进制字节数组存储。

三．列簇

1.列簇必须在创建表的时候定义。

2.每个列簇中的列数是没有限制的。

3.同一列簇下的所有列会保存在一起。一个HFile文件保存一个列簇的数据。

4.列在列簇中是有序的，按照字典顺序排列。

5.列可以在运行时动态创建。

6.列只有在插入数据后才会存在，空值不保存，不占存储空间。

四．HBase存储设置

1.压缩格式，默认无压缩，可以使用GZ、LZO、SNAPPY

2.HBase默认块大小是64K，不是64兆，因为HBase需要支持随机访问，一旦在查询的时候找到行健所在的块，就会对应块的单元格数据取出，对64k大小的块进行扫描的速度明显快与64M。

3.内存模型：默认false，如果设置为true，HBase会尝试将整个列簇保存在内存中。

4.块缓存，默认true，HBase使用块缓存将最近使用的块加载到内存中。块缓存使用最近没有使用（LRU）的原则删除块数据。

5.布隆过滤，是一种空间高效的数据结构，可以设置为ROW，使用行级的布隆过滤，ROWCOL使用行健与列标识级别的布隆过滤。

五．HBase组件

架构图（官方图）

1.Zookeeper

主要职责：支持远程组件之间的松散耦合消息机制，组件之间通过心跳机制协调他们的状态和健康信息。

2.Master

集群环境中可以同时存在多个主节点，但是同一时间只有一个扮演主节点的角色，其他节点作为备用节点，如果主节点与zk的租约过期，剩下的备用节点重新发起竞争，由zk选举主节点。

功能：执行集群管理操作，跟踪数据位于哪个节点上（行健鉴别），控制负载均衡和故障切换，主节点不直接获取RegionServer信息，通过zk获取各RegionServer运行状态。

3.RegionServer（分区服务器）

主要负责管理多个分区，数据实际存储在分区中，每一个RegionServer有一个WAL文件（预写日志）和块缓存，预写日志文件存储在hdfs，防止丢失。该RegionServer上的所有分区共享WAL和块缓存.

4.WAL

功能：确保数据不丢失，如果发生故障，可以使用WAL恢复数据。

WAL中保存了分区服务器还没有写入HFile的所有操作。写入WAL之后再写入MemStore，当MemStore的大小达到预设的值时，将数据写入HFile固化到磁盘。如果想提高写入性能可以关闭WAL，但是会有数据丢失的风险。

5.块缓存

是一种内存结构，遵循LRU（最近没有使用）回收规则，默认对表是开启的。通过SCAN和GET获取的数据都会加载到缓存。0.96版本之后支持使用JAVA NIO实现的堆外缓存，这个优化大大减小了RegionServer的GC压力。

6.分区

一个RegionServer上有多个分区，每一个分区对应一张表，管理表中一定范围行健内的行数据，分区的行健范围不必是连续的，分区对于表中不同列簇是分开存储的，一个HFile存储一个列簇的数据。

7.MemStore

当HBase有更新操作时，先写入WAL再写入MemStore（内存结构），预定义MemStore大小配置hbase.hregion.memstore.flush.size。每一次持久化操作都会针对分区中的每一个列簇创建一个HFile文件，当用户读取数据时先从MemStore中读取数据，如果没有在MemStore中找到对应的值才会尝试从HFile文件中读取。

注意：MemStore的持久化过程是阻塞的，此时不能提供服务。

早期的MemStore使用堆内存实现，会产生大量的堆内存碎片，并导致周期行的FullGC，FullGC会导致程序暂停。

8．HFile文件

最终保存HBase数据的文件（存储于HDFS），一个HFile文件属于一张表的一个列簇，数据以行健和列的字典顺序排列，同时单元格内的数据是以版本号降序排列。多个RegionServer的MemStore多次持久化的HFile文件，他们之间是无序的，HBase会通过部分压缩和全量压缩进行合并。当HFile文件的数量达到一定的阈值，就会启动部分压缩，将多个HFile文件合并为一个大的HFile文件。全量压缩会在每天的固定时间段进行（系统活跃度低的时间）。合并的过程会对数据重新排序，保证合并后的文件数据依然是有序的。

9.两个重要的表-Root-.META.

-Root-保存.META.的路径，它指向.META.在集群的哪个节点上。是唯一不会被拆分的表。

.META.保存集群中每个分区的元数据，关键的类HRegionInfo，包括表的信息，表的起始行健值和终止行健值。

六．客户端与HBase建立连接的过程

A．Client与ZK集群建立连接，从ZK集群获取-Root-表位置信息。

B．Client连接-Root-表，并得到.META.表的位置信息。

C．Client连接.META.表并下载分区列表和他们的位置。

D．Client使用从.META.表下载的信息直接连接RegionServer中的分区操作数据，在这过程中Clien会进行一系列的查询操作。

E．Client会将-Root- .META.周期性的下载到本地，当Client连接RegionServer后发现.META.表提供的行健范围不在分区中才会重新刷新本地目录表缓存。

七．分区与压缩

如果在创建表是没有设置预分区，刚创建表时只有一个分区，直到该分区的大小达到habse.hregion.max.filesize属性值时默认10G，该分区会再次分区，注意此时的分区是逻辑分区，只记录分区的行健。分区大小会继续增长，只有在全量压缩的时候才会把逻辑分区转为物理分区，将原始数据文件拆开到其他分区HDFS路径下的不同文件中。原始分区将在物理上分成两个分区，并且这两个分区属于不同的两台RegionServer。

压缩是分区中HFile文件合并的过程，减少HFile的数量能够提高HBase的性能。因为能够减少scan和get读取的文件数。压缩分两种：部分和全量。

部分压缩，会把多个HFile文件压缩成一个，部分压缩的过程，Client仍然可以向MemStore写数据，但是不执行MemStore的持久化，如果MemStore被写满，此时暂停对外服务，与该分区交互的Client处于阻塞状态，直到压缩过程执行完毕，恢复操作。

全量压缩，将一个分区内所有的HFile文件合并成一个文件，在这个过程所有的删除操作和版本过期的单元格都会被移除。全量压缩默认每天执行一次。（提示：HBase的删除操作并不会在执行完删除命令后就立即删除数据，而是先给该数据打上被删除的标签，在全量压缩的过程中才会被真正的删除）