Python操作Hbase

Hbase的连接和使用

• Hbase的连接
  • 安装happybase和thrift
    • pip install happybase
    • pip install thrift

import happybase
conn = happybase.Connection("xxx", 9090)
print conn.tables()

# xxx 表示表名，在连接之前要先在终端创建表
table = conn.table("xxx")

# 创建表---> zhy为表名，info为指定行列为空
conn.create_table('zhy', {"info":{}})

# 删除表--> disable默认为False，删除表的手要修改为True
conn.delete_table("testtest", True)

• Hbase表结构

  • conn.create_table('zhy', {"info":{}})--->创建表，指定列簇名
    • 数据库中存入数据
      • table.put(rowkey, {"info:content": value})
    • 理解:info是列簇名，info:content中content可以理解为mongo表中的key；插入数据的时候，要指明rowkey，rowkey相当于mongo表中的_id

• Python操作Hbase的增删改查操作

  • 增改数据put, row操作
  • put(row, data, timestamp=None, wal=True)---> 插入数据，无返回值
    • row---> 行，插入数据的时候需要指定；
    • data---> 数据，dict类型，{key:value}构成，列与值均为str类型
    • timestamp--->时间戳，默认None,即写入当前时间戳
    • wal---> 是否写入wal, 默认为True

  import
  In [8]: conn = happybase.Connection("192.168.14.1",9090)
  In [9]: table = conn.table("zhy")
  # 向表中增添数据，需要制定rowkey和一个字典形式的键值对
  In [11]: table.put("test2",{"info:data":"22222"})
  # 通过指定列簇来检索数据
  In [12]: row = table.row("test2")
  In [13]: print row
  {'info:data': '22222'}
  In [14]: table.put("test3",{"info:data":"33333"})
  In [15]: row = table.row("test3")
  In [16]: print row
  {'info:data': '33333'}
  
  In [20]: table.put("test2",{"info:content":"33333"})
  In [21]: row = table.row("test2")
  In [22]: print row
  {'info:content': '33333', 'info:data': '22222'}
  # 检索多行数据                                        
  In [23]: rows = table.rows(["test2","test3"])
  In [24]: print rows
  [('test2', {'info:content': '33333', 'info:data': '22222'}), ('test3', {'info:data': '33333'})]
  
  

  • 删除操作

    • table.delete("rowkey")---->删除一整行数据
    • table.delete("rowkey", columns=["info:xxx",...])---->删除一个列簇中几个列的数据

  In [27]: table.delete("test3")
  In [28]: row = table.row("test3")
  In [29]: print row
  {}
  
  In [35]: row = table.row("test2")
  In [36]: print row
  {'info:content': '333333', 'info:data': '22222'}
  In [37]: table.delete("test2", columns=["info:content"])
  In [38]: row = table.row("test2")
  In [39]: print row
  {'info:data': '22222'}
  
  

  • 全局查询操作scan()方法

    • 可用于遍历查询表中的数据的数量
    • 可以指定开始和结束的row key来进行局部查询
    • 可以通过制定前缀来进行匹配查询

  for key, value in table.scan():
      print key,value
  
  # 指定row_start和row_stop参数来设置开始和结束扫描的row key    
  for key, value in table.scan(row_start='www.test2.com', row_stop='www.test3.com'):
      print key, value
      
  # 通过row_prefix参数来设置需要扫描的row key
  for key, value in table.scan(row_prefix='www.test'):
      print key, value    
      
  

• hbase表查询操作特别慢，可以在插入的时候引入特定包，插入时生成一个index表，对index表进行查询操作

  • pip install happybase-monkey
  • 在导入包import happybase下面引入包即可
    • from happybase_monkey.monkey import monkey_path;monkey_path()

• 其他详细的写法

  • 请点击

Linux在hbase的安装

• 下载安装

  • wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.2.6-bin.tar.gz

• 解压文件

  • tar -zxvf hbase-1.2.6-bin.tar.gz

• 启动hbase终端

  • ./hbase-1.2.6/bin/hbase shell

• 配置hbase的依赖环境JAVA_HOME

  • jdk下载地址

    • 选择对应的版本下载. (如果在linux上下载速度过慢，可以在windos下载之后上传到linux上)

  • 首先在/usr目录下建立java安装目录

    cd /usr

    mkdir java

  • 将下载好的jdk安装包拷贝到java目录下

    cp ./jdk-8u161-linux-x64.tar.gz /usr/java

  • 解压jdk到当前目录,得到文件夹jdk1.8.0_*(注意：下载不同版本的jdk,目录名不同)

    tar -zcvf jdk-8u161-linux-x64.tar.gz

  • 安装完毕之后为它建立一个链接以节省目录长度

    • 这个步骤可以省略，但是在下面指定JAVA_HOME路径的时候要指明全路径

    ln -s /usr/java/jdk1.8.0_161/ /usr/jdk

  • 编译配置文件，配置环境变量

    vim /etc/profile

    • 在文本的末尾添加如下内容

    # 这个路径要和解压缩之后的文件路径一致
    JAVA_HOME=/usr/jdk
    
    CLASSPATH=$JAVA_HOME/lib/
    
    PATH=$PATH:$JAVA_HOME/bin
    
    export PATH JAVA_HOME CLASSPATH
    
    

  • 执行命令让配置生效

    • source /etc/profile

  • 查看安装情况

    java -version

    • 出现如下命令

      java version "1.8.0_161"
      Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
      Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
      
      

• 启动hbase shell 终端之后Backspace不能使用的问题

  • Options--->Session options--->Emulation--->Terminal 选择为Linux
  • Options--->Session options--->Emulation--->Mappend Keys--->Other mappings打上对勾即可

• hbase shell 的一些命令操作

  • 通用命令

    序号	命令	描述
    1	status	提供Hbase的状态,例如:服务器的数量
    2	version	提供正在使用的HBase版本
    3	table_help	表引用命令帮助
    4	whoami	提供有关用户的信息

  • Hbase Shell的一些基本操作命令

    名称	命令表达式
    查看存在哪些表	list
    创建表	create '表名', '列簇名1'， '列簇名2'
    添加记录	put '表名', 'row key', '列簇名：标识符', 'value'
    查看记录	get '表名', 'row key'
    查看表中的行数	count '表名'
    删除一张表	先要屏蔽表,才能对表进行删除,第一步:disable '表名', 第二步：drop '表名'
    查看表中所有数据	scan '表名称'
    更新记录	就是重写一遍进行覆盖

  • 增删改查操作

    # 创建表，指明列簇 info, data
    create 'user', 'info', 'data'
    create 'user', {NAME=>'info', VERSIONS=>'3'} # 指定版本号
    
    # 向user表中插入信息，rk001为row key,列簇info中添加name标识元素，值为zhy
    put 'user', 'rk001', 'info:name', 'zhy'
    
    # 获取元素,获取user表中row key为rk001的所有元素
    get 'user', 'rk001'
    
    # 获取user表中row key为rk001, info列簇的所有信息
    get 'user', 'rk001', 'info'
    
    # 查询表中所有的信息
    scan 'user'
    
    # 查询表中列簇为info的信息
    scan 'user', {COLUMNS=> 'info'}
    
    # 删除数据
    delete 'user', 'rk001', 'info:name'
    
    # 清空表中数据
    truncate 'user'
    
    # 添加列簇
    alter 'user', NAME=>'f1'
    
    # 删除列簇
    alter 'user', NAME=>'f1', METHOD=>'delete'或alter 'user', 'delete'=>'f1'
    
    

  • 其他详细的hbase操作

    • 请点击