hadoop笔记8--HBase的eclipse环境开发

上一篇记录了HBase的shell中的基本操作，这一篇看看用java来实现那些相应的操作。

首先进入hadoop目录和Hbase目录，将伪分布式hadoop环境和Hbase启动：

# 进入hadoop目录
sbin/start-all.sh

# 进入hbase目录
bin/start-hbase.sh

启动hadoop和hbase

然后在eclipse中建立一个mapreduce工程，这时候相应的工程中已经包含了开发hadoop程序用到的一些jar包。

包含了hadoop需要的包

不过这些jar包并没有包含hbase要用到的，因此我们需要自己导入。导入的方法是右击项目工程，选择 Properties->Java Build Path->Libraries->Add External JARs, 选择添加所需的 jar 包：

我们需要的jar包在hbase的安装(解压缩)目录下的lib目录中，比如我的就是在/usr/local/hbase-1.1.7/lib，进入后就能看到：

由于目前不清楚各种包里面包含了些什么，为了防止报错，我把这个目录中的所有jar包都给导入到了工程中。

接着还要指定HBase配置文件的位置，因为Zookeeper的集群的信息在HBase的配置文件中(虽然我用的是HBase自带的一个Zookeeper实例)。

如何指定呢?可以将HBase的配置文件复制一份到工程里。先在工程目录下创建一个名为conf的目录，再将HBase的配置文件 hbase-site.xml 复制到该目录下。接着，还是右击项目工程，选择 Properties->Java Build Path->Libraries->Add Class Folder, 将刚刚增加的conf目录选上：

然后就可以进行代码的编写了。

首先来创建一个表：

public class HelloHBase {
    private static Configuration conf = HBaseConfiguration.create();

    //create a table
    public static void createTable(String tableName,String[] familys) throws Exception{
        @SuppressWarnings("deprecation")
        HBaseAdmin admin = new HBaseAdmin(conf);
        
        if(admin.tableExists(tableName)){
            System.out.println("table"+tableName+"already exists!");
        }else{
            @SuppressWarnings("deprecation")
            HTableDescriptor tableDesc = new HTableDescriptor(tableName);
            for(int i=0;i<familys.length;i++){
                tableDesc.addFamily(new HColumnDescriptor(familys[i]));
            }
            admin.createTable(tableDesc);
            System.out.println("create table "+tableName+" success!");
        }
        
    }

    public static void main(String[] args){
        try{
            String tablename = "testTableName";
            String[] familys = {"family1","family2"};
            HelloHBase.createTable(tablename, familys);
        }catch(Exception e){
            e.printStackTrace();
        }
    }
}

写好后，运行看看：

运行结果

打印结果说明我们创建成功了，但如何查看呢？这时候需要进入终端，进入 HBase Shell查看结果：

可以看到，刚才创建的testTableName显示了出来，说明执行成功了。

接下来就继续测试表更新的接口，表更新有Put(插入或更新)，Delete(删除)，Append(添加)，Increment(增长)等。

插入数据:

//插入数据，其中rowKey为行，family为列族，qualifier为列名，value为数据
public static void addData(String tableName,String rowKey,String family,String qualifier,String value) throws Exception{
        HTable table = new HTable(conf,tableName);
        Put put = new Put(Bytes.toBytes(rowKey));
        put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));
        table.put(put);
        System.out.println("insert recored success!");
    }

删除一行数据：

public static void deleteRow(String tableName,String rowKey) throws IOException{
        HTable table = new HTable(conf,tableName);
        Delete deleteRow = new Delete(rowKey.getBytes(rowKey));
        table.delete(deleteRow);
        System.out.println("delete row "+rowKey+" success!");
    }

删除一行中某列的数据：

public static void deleteColumn(String tableName,String rowKey,String familyName,String columnName) throws IOException{
        HTable table = new HTable(conf,tableName);
        Delete deleteColumn = new Delete(Bytes.toBytes(rowKey));
        deleteColumn.deleteColumn(Bytes.toBytes(familyName), Bytes.toBytes(columnName));
        table.delete(deleteColumn);
        System.out.println("delete "+rowKey+":"+familyName+":"+columnName+" success!");
    }

添加数据（Append）:

public static void appendData(String tableName,String rowKey,String family,String qualifier,String value) throws IOException{
        HTable table = new HTable(conf,tableName);
        Append append = new Append(Bytes.toBytes(rowKey));
        append.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value));
        table.append(append);
        System.out.println("append data success!");
    }

增长数据（Increment）:

public static void incrementData(String tableName,String rowKey,String family,String qualifier,long amount) throws IOException{
        HTable table = new HTable(conf,tableName);
        Increment increment = new Increment(Bytes.toBytes(rowKey));
        increment.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier), amount);
        table.increment(increment);
        System.out.println("increment data success!");
    }

接下来看看数据的读取。

读取一行数据：

public static void getOneRow(String tableName,String rowKey) throws IOException{
        HTable table = new HTable(conf,tableName);
        //
        Get get = new Get(rowKey.getBytes());
        Result result = table.get(get);
        //
        for(KeyValue kv:result.raw()){
            System.out.print("row: "+new String(kv.getRow())+" ");
            System.out.print("family: "+new String(kv.getFamily())+" ");
            System.out.print("qualifier: "+new String(kv.getQualifier())+" ");
            System.out.print("timestamp: "+kv.getTimestamp()+" ");
            System.out.println("value: "+new String(kv.getValue()));
        }
    }

扫描一个区段的数据：

public static void scanRows(String tableName,String startRow,String stopRow) throws IOException{
        HTable table = new HTable(conf,tableName);
        //
        Scan s = new Scan(startRow.getBytes(),stopRow.getBytes());
        ResultScanner ss = table.getScanner(s);
        for(Result r:ss){
            for(KeyValue kv:r.raw()){
                System.out.print("row: "+new String(kv.getRow())+" ");
                System.out.print("family: "+new String(kv.getFamily())+" ");
                System.out.print("qualifier: "+new String(kv.getQualifier())+" ");
                System.out.print("timestamp: "+kv.getTimestamp()+" ");
                System.out.println("value: "+new String(kv.getValue()));
            }
        }
    }

还可以使用Filter来过滤一些数据：

public static void scanByFilter(String tableName,String family,String qualifier,String value) throws IOException{
        HTable table = new HTable(conf,tableName);
        Scan scan = new Scan();
        scan.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier));
        Filter filter = new SingleColumnValueFilter(Bytes.toBytes(family), Bytes.toBytes(qualifier), CompareOp.EQUAL, Bytes.toBytes(value));
        scan.setFilter(filter);
        
        ResultScanner result = table.getScanner(scan);
        
        //
        for(Result r:result){
            for(KeyValue kv:r.raw()){
                System.out.print("row: "+new String(kv.getRow())+" ");
                System.out.print("family: "+new String(kv.getFamily())+" ");
                System.out.print("qualifier: "+new String(kv.getQualifier())+" ");
                System.out.print("timestamp: "+kv.getTimestamp()+" ");
                System.out.println("value: "+new String(kv.getValue()));
            }
        }
    }

HBase基本用法就是这样，可以在eclipse中运行代码后进入hbase shell中查看对应的表。

代码基本上进行的是增删改查，这样也就更能看到HBase扮演的角色就相当于在HDFS文件系统下的数据库。