Hive导入数据到HBase,再与Phoenix映射同步
2022-01-14 本文已影响0人
liuxiaolin
第一步，创建hive表，并在DLL语句中定义HBase表的表名
1，创建表
CREATE TABLE hbase_test(
id int,
name string,
age int
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,user:name,user:age")
TBLPROPERTIES("hbase.table.name" = "hbase_test");
注意，创建的这个表是管理表，意味着如果删除这个表，那么该表的所有数据（包括元数据和表数据）都会被删除。
2，在DBeaver hive中查看hbase_test表
image.png
可以看到目前表还是空的。
3，在hbase shell中，查看hbase_test表
hbase(main):036:0> scan "hbase_test"
ROW COLUMN+CELL
0 row(s)
Took 0.1718 seconds
hbase(main):037:0>
也是空的
4，在hbase shell中，插入数据
hbase(main):037:0> put 'hbase_test','111','user:name','jack'
Took 0.0145 seconds
hbase(main):038:0> put 'hbase_test','111','user:age','18'
Took 0.0481 seconds
hbase(main):039:0>
5，在hbase shell中，查看hbase_test表
hbase(main):039:0> scan "hbase_test"
ROW COLUMN+CELL
111 column=user:age, timestamp=2022-01-13T10:54:05.311, value=18
111 column=user:name, timestamp=2022-01-13T10:53:55.844, value=jack
1 row(s)
Took 0.0247 seconds
hbase(main):040:0>
可以看到，表里有一行记录
6，在hive表中插入数据
INSERT INTO hbase_test(id,name,age) VALUES(333,'mary',25);
7，DBeaver hive中查看hbase_test表数据
image.png
可以看到，数据被成功插入
8，在hbase shell中，查看hbase_test表
hbase(main):040:0> scan "hbase_test"
ROW COLUMN+CELL
111 column=user:age, timestamp=2022-01-13T10:54:05.311, value=18
111 column=user:name, timestamp=2022-01-13T10:53:55.844, value=jack
333 column=user:age, timestamp=2022-01-13T10:55:41.442, value=25
333 column=user:name, timestamp=2022-01-13T10:55:41.442, value=mary
2 row(s)
Took 0.0309 seconds
hbase(main):041:0>
数据成功插入
第二步，在Phoenix中创建一个映射至HBase目标表的视图
注意：
1，Phoneix中创建的视图名称与HBase中映射的表名要相同
2，phoneix中创建视图的字段名与与HBase中映射表的字段名要相同(注意大小写)
1，在DBeaver中创建映射视图
CREATE VIEW "hbase_test"(id varchar primary key, "user"."name" varchar, "user"."age" varchar);
2，在DBeaver查看视图
SELECT * FROM "hbase_test"
image.png
