数据存储-Hbase基础
Outline
- 什么是Hbase
- 为什么需要Hbase
- Hbase的基础概念
- Hbase的架构
- Hbase的读写操作
什么是Hbase
HBase(Hadoop Database)是一种构建在HDFS之上的分布式、面向列(列族)的存储系统；源自Google发表于的Bigtable论文。HBase是Google Bigtable的克隆版，与Google Bigtable 利用GFS作为其文件存储系统类
- HDFS为Hbase提供可靠的底层数据存储服务
- MapReduce为Hbase提供高性能的计算能力
- Zookeeper为Hbase提供稳定服务和Failover机制
Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。
BigTable发明的原因
搜索是一种定位你所关心信息的行为
hbase_search
为什么需要Hbase？
hdfs和hbase各自使用场景
Hbase是Hadoop平台下的数据存储引擎，是一个非关系型数据库--NoSQL数据库
image
HDFS不支持随机读写操作
Hbase和关系型数据库的比较
hbase_vs_RDBMS
hbase_table
Hbase的特点
优点
- 分布式数据库，海量存储，易于拓展
- 数据的实时访问，随机读写
- schemaless data model (“NoSQL”)
- 自我管理数据分片
- 强一致模型（当写操作返回时，所有的读将看到一样的结果）
缺点
不支持SQL，不支持跨行跨表事务，不支持二级索引，而且读时延大。它不能用在OLTP（On-Line Transaction Processing联机事务处理过程）业务，比如支付业务的核心流程，但适合存放历史数据，处理历史数据的对账、历史数据的回溯等需求。
Hbase表的基础概念
hbase_concept
| 概念名称 | 解释 |
|---|---|
| Table（表） | 类似于传统数据库中的表 |
| Column Family(列簇) | Table在水平方向有一个或者多个Column |
| Row Key(行健） | Table的主键；Table中的记录按照Row Key排序 |
| Region | 一定范围的数据访问和存储；HBase数据管理的基本单位 |
| Timestamp（时间戳） | 每一行数据均对应一个时间戳；也可以当做版本号。 |
Hbase的架构和基本概念
Hbase是由Client、Zookeeper、Master、HRegionServer、HDFS等几个组建组成，架构图如下：
hbase_arch
基本概念
| 概念 | 功能 |
|---|---|
| Client | 包含了访问Hbase的接口，并维护cache |
| Zookeeper | Hmaster的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等 |
| Hmaster | Hmaster的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等 |
| Hlog | 每个HRegionServer中都会有一个HLog的实例，存储在HDFS上 |
| HregionServer | HregionServer直接对接用户的读写请求，是真正的“干活”的节点，每个RegionServer为一定数量的region服务 |
| Hregion | Hbase中分布式存储和负载均衡的最小单元,会split，包含多个Store |
| Store | Store = MemStore+StoreFile(>=1个) |
| MemStore | 内存，对应一个列族，KV |
| StoreFile | StoreFile包含一个或多个HFile，以二进制流的形式存储在HDFS上 |
| HFile | 由block组成 |
| HDFS | 为Hbase提供最终的底层数据存储服务，同时为Hbase提供高可用的支持 |
HFile由很多个数据块（Block）组成，并且有一个固定的结尾块。其中的数据块是由一个Header和多个Key-Value的键值对组成。在结尾的数据块中包含了数据相关的索引信息，系统也是通过结尾的索引信息找到HFile中的数据。
Hbase的存储机制
Hbase的读写操作
Hbase写操作
image
HBase写数据流程
1,Client先访问zookeeper，从meta表获取相应region信息，然后找到meta表的数据
2,根据namespace、表名和rowkey根据meta表的数据找到写入数据对应的Hregion信息
3,找到对应的regionserver
4,把数据分别写到HLog和MemStore上一份
4,MemStore达到一个阈值后则把数据刷成一个StoreFile文件。（若MemStore中的数据有丢失，则可以总HLog上恢复）
5,当多个StoreFile文件达到一定的大小后，会触发Compact合并操作，合并为一个StoreFile，（这里同时进行版本的合并和数据删除。）
6,当Storefile大小超过一定阈值后，会把当前的Region分割为两个（Split），并由Hmaster分配到相应的HRegionServer，实现负载均衡
Hlog
Hlog是Hbase实现WAL（Write ahead log，预写日志）方式产生的日志信息
当RegionServer出现故障的时候，需要对Hlog进行回放来恢复数据。
保证数据的高可用！！
Hbase读操作
1,Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息。
2,根据namespace、表名和rowkey在meta表中找到对应的region信息
3,找到这个region对应的regionserver
4,查找对应的region
5,先从MemStore找数据，如果没有，再到StoreFile上读(为了读取的效率)。
谁在使用Hbase
hbase_who_use
参考资料
Hbase技术详细学习笔记
《HBase实战》
Hadoop相关知识整理系列之一：HBase基本架构及原理
