HBase学习笔记

2018-08-22  本文已影响0人  卡卡xx

在对HBase进行操作之前，首先学习一下HBase的基础架构和运行原理。这里讲解了

1、Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

2、列族 column family
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

3、单元 Cell
HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

4、时间戳 timestamp
每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。


hbase命令

安装HBase

HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。所以安装HBase之前还需要安装zookeeper和hdfs。

如果是Apache hadoop就下载相应文件并修改配置文件安装。我用的是cloudera hadoo就直接在集群管理界面添加服务。

HBase shell命令使用

HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面。需要注意的是HBase的交互界面删除键改为了Ctrl + Backspace组合

用status命令看一下集群是否正常
查看HBase版本

Python对HBase的操作

启动thrift

thrift是用于可伸缩的跨语言服务开发框架。
首先需要安装thrift，而安装thrift之前还需要安装thrift的很多依赖，详见这里。
但是很多情况下已经帮你安装好了thrift（可能是安装操作系统或者安装hadoop的时候），所以你只需要去开启就是了，不能开启再去安装。


第一次开启报了个这个错，原因是JAVA_HOME没有配置或者低于1.7，所以去/etc/profile或者hbase的conf下hbase-env.sh加上JAVA_HOME就可以了。


就成功启动了thrift。

编写python程序

这里需要用pip导入需要的包

pip install thrift
pip install hbase-thrift

编写好后运行说语法错误，但是自己的语法并没有错，跟着错误点进了hbase包的源码，发现是python2版本的语法，在网上搜了一下，说是把hbase里的Hbase.py和ttypes.py换成python3的即可，于是去python存放第三方包的地方换了，随后就可以了。

from thrift.transport import TSocket,TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase

# thrift默认端口是9090
socket = TSocket.TSocket('192.168.233.100',9090)
socket.setTimeout(5000)

transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)
socket.open()

print(client.getTableNames())
print(client.get('student','2016211880','info:name'))

其他的操作和HBase shell差不多，只要拿到了client = Hbase.Client(protocol)中的client，其它的操作只是换成了函数调用形式而已。 
column = ColumnDescriptor(name='row1')
client.createTable('tb1',[column])

这里需要注意，不能直接像HBase shell一样传入字符串作为列簇，而是要先用函数ColumnDescriptor（需要导入from hbase.ttypes import ColumnDescriptor）生成列簇对象，然后作为参数传入进去。

print('before',client.getTableNames())
client.disableTable('tb1')
client.deleteTable('tb1')
print('after',client.getTableNames())

print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='inset_name') 这里需要注意，以前的参数是name和value，现在改为了column和value
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))

先把需要插入的列簇信息封装为Mutation对象（需要导入from hbase.ttypes import Mutation），再插入表student，2016000行。

print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='update_name')
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))

# 行
row = '2016211880'
# 查询结果
result = client.getRow('student',row)      # result为一个列表
for item in result:                     # item为hbase.ttypes.TRowResult对象
    print(item.row)
    print(item.columns.get('info:name').value )       # 获取值。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
    print(item.columns.get('info:name').timestamp )   # 获取时间戳。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象

scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
while True:
    result = client.scannerGet(scannerId)
    if not result:
        break
    print(result)

结果

[TRowResult(row='2016211880', columns={'info:age': TCell(value='20', timestamp=1534856521857), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
[TRowResult(row='2016211881', columns={'info:age': TCell(value='18', timestamp=1534856521887), 'info:name': TCell(value='stu1', timestamp=1534855473518)})]
[TRowResult(row='2016211882', columns={'info:age': TCell(value='18', timestamp=1534856521912), 'info:name': TCell(value='stu2', timestamp=1534855311597)})]
[TRowResult(row='2016211883', columns={'info:age': TCell(value='18', timestamp=1534856521940), 'info:name': TCell(value='stu3', timestamp=1534855469567)})]
[TRowResult(row='2016211884', columns={'info:age': TCell(value='18', timestamp=1534856521969), 'info:name': TCell(value='stu4', timestamp=1534855469670)})]
[TRowResult(row='2016211885', columns={'info:age': TCell(value='18', timestamp=1534856521993), 'info:name': TCell(value='stu5', timestamp=1534855469700)})]
[TRowResult(row='2016211886', columns={'info:age': TCell(value='19', timestamp=1534856522018), 'info:name': TCell(value='stu6', timestamp=1534855469732)})]
[TRowResult(row='2016211887', columns={'info:age': TCell(value='21', timestamp=1534856522042), 'info:name': TCell(value='stu7', timestamp=1534855469761)})]
[TRowResult(row='2016211888', columns={'info:age': TCell(value='22', timestamp=1534856522191), 'info:name': TCell(value='stu8', timestamp=1534855469791)})]
[TRowResult(row='2016211889', columns={'info:age': TCell(value='21', timestamp=1534856523296), 'info:name': TCell(value='stu9', timestamp=1534855469828)})]

其它的操作都和shell差不多，只是换成了函数形式，使用时可以查阅API文档。

HBase预分区

HBase中，表会被划分为1…n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。
HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断 增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowky，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。像这样预先创建hbase表分区的方式，称之为预分区。

预分区步骤

  1. 规划hbase预分区
    首先就是要想明白数据的key是如何分布的，然后规划一下要分成多少region，每个region的startkey和endkey是多少，然后将规划的key写到一个文件中。比如，key的前几位字符串都是从2016211880~2016211889的数字，这样可以分成4个region，划分key的文件如下：
#只是在分区比较多的时候需要这么做。分区少的情况下可以直接在生成表的时候直接用SPLITS分区
2016211882|
2016211884|
2016211886|
2016211888|

因为在ASCII码中，"|"的值是124，大于所有的数字和字母等符号，当然也可以用“~”（ASCII-126）。分隔文件的第一行为第一个region的stopkey，每行依次类推，最后一行不仅是倒数第二个region的stopkey，同时也是最后一个region的startkey。也就是说分区文件中填的都是key取值范围的分隔点。

  1. HBase中建分区表，指定分区文件
    和以前创建普通表一样，只是创建的时候多了一个参数，指明了分区的信息。
    create 'sort_table','info',SPLITS=>['2016211882','2016211884','2016211886','2016211888']
    这里的分区表示方法也可以换成文件替代。
    create 'split_table_test', 'cf', {SPLITS_FILE => 'region_split_info.txt'}
    去主节点60010端口下查看分区成功。

    接着插入一条数据试一试
    put 'sort_table','2016211885','info:add','xxx'

    数据插入到了指定的分区当中。
上一篇下一篇

猜你喜欢

热点阅读