HBase入门实践
概要
本文简单的安装单机版的HBase数据库，单机版底层存储是直接使用的本地文件系统、这样的话就不用搭建HDFS文件服务了。然后HBase提供了hbase-client来对数据库做操作，但是这里使用Apache Phoenix，可以支持SQL的方式来读写HBase，搭建完HBase并安装Phoenix插件之后，我们基于Spring JDBC和Phoenix客户端来开发一个增删改查HBase的示例。
Phoenix分为客户端和服务端两部分，相当于在HBase上再加了一层SQL翻译，支持JDBC协议，客户端发送SQL经由phoenix发到其作为一个HBase插件的服务端上，把SQL再转成HBase指令交给HBase执行。
HBase简介
HBase是大数据时代的默认存储，适合存储海量数据，用户行为类数据、其他大数据平台的底层存储、报表展示类。
环境安装与搭建
吐槽一下，HBase这入门环境搭建简直是霍格大爷，差点被劝退。
hbase-2.3.7 + phoenix-hbase-2.3-5.1.2死活不行，hbase本身倒是能正常用shell登入进行操作，用phoenix就是不行，卡在sqlline.py连接那里，然后hbase就Region in transition了、要么就ConnectionLoss for /hbase/hbaseid，只能删除数据目录重启。
后来只能老实的安装网上别人的成功安装经验，用hbase-2.2.4 + phoenix-hbase-2.0-5.0.0这个组合才成功。
到conf/hbase-env.sh里改一下JAVA_HOME环境变量:
export JAVA_HOME=/usr/java/jdk1.8.0_131/
修改hbase-site.xml：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- hbase存放数据目录 -->
<property>
<name>hbase.rootdir</name>
<value>file:///home/hbase-2.2.4/hbase</value>
</property>
<!-- ZooKeeper数据文件路径 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hbase-2.2.4/zookeeper</value>
</property>
<property>
<name>hbase.master.ipc.address</name>
<value>0.0.0.0</value>
</property>
<property>
<name>hbase.regionserver.ipc.address</name>
<value>0.0.0.0</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
</configuration>
这里可以启动一下试试看，./bin/start-hbase.sh
hbase shell进入命令行，list查看表，create 'test', 'cf' ，describe 'test'
hbase(main):001:0> list
TABLE
0 row(s)
Took 1.1635 seconds
=> []
hbase(main):013:0* create 'test', 'cf'
Created table test
Took 0.7584 seconds
=> Hbase::Table - test
hbase(main):014:0> list
TABLE
test
1 row(s)
Took 0.0299 seconds
=> ["test"]
hbase(main):019:0* describe 'test'
Table test is ENABLED
test
COLUMN FAMILIES DESCRIPTION
{NAME => 'cf', BLOOMFILTER => 'ROW', IN_MEMORY => 'false', VERSIONS => '1', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', COMPRESSION =>
'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
1 row(s)
Quota is disabled
Took 0.3620 seconds
hbase(main):020:0> put 'test', 'row1', 'cf:a', 'value1'
Took 0.1434 seconds
hbase(main):021:0> put 'test', 'row2', 'cf:b', 'value2'
Took 0.0289 seconds
hbase(main):022:0> put 'test', 'row3', 'cf:c', 'value3'
Took 0.0142 seconds
hbase(main):023:0> scan 'test'
ROW COLUMN+CELL
row1 column=cf:a, timestamp=2022-01-18T14:16:36.606, value=value1
row2 column=cf:b, timestamp=2022-01-18T14:16:49.123, value=value2
row3 column=cf:c, timestamp=2022-01-18T14:16:59.043, value=value3
3 row(s)
Took 0.0911 seconds
hbase(main):025:0* get 'test', 'row1'
COLUMN CELL
cf:a timestamp=2022-01-18T14:16:36.606, value=value1
1 row(s)
Took 0.0510 seconds
禁用表、启用表、禁用后删除表：
disable 'test'
enable 'test'
drop 'test'
然后安装Phoenix：
1、把phoenix安装包里的jar包复制到hbase的lib目录里
2、把hbase-site.xml文件cp到phoenix的bin目录，后面用本地这个phoenix客户端需要。
3、添加环境变量
vim /etc/profile
# For Phoenix
export PHOENIX_HOME=/usr/phoenix-hbase-2.3-5.1.2-bin
export PHOENIX_CLASSPATH=$PHOENIX_HOME
export PATH=$PHOENIX_HOME/bin:$PATH
source /etc/profile 生效。
使用phoenix自带的sqlline.py localhost:2181 验证一下：
[root@VM_0_11_centos bin]# ./sqlline.py localhost:2181
Setting property: [incremental, false]
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix:localhost:2181 none none org.apache.phoenix.jdbc.PhoenixDriver
Connecting to jdbc:phoenix:localhost:2181
22/01/18 17:14:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Connected to: Phoenix (version 5.0)
Driver: PhoenixEmbeddedDriver (version 5.0)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
133/133 (100%) Done
Done
sqlline version 1.2.0
0: jdbc:phoenix:localhost:2181> !table
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+------+
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_STATE | IMMU |
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+------+
| | SYSTEM | CATALOG | SYSTEM TABLE | | | | | | fals |
| | SYSTEM | FUNCTION | SYSTEM TABLE | | | | | | fals |
| | SYSTEM | LOG | SYSTEM TABLE | | | | | | true |
| | SYSTEM | SEQUENCE | SYSTEM TABLE | | | | | | fals |
| | SYSTEM | STATS | SYSTEM TABLE | | | | | | fals |
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+------+
测试一下表操作：
0: jdbc:phoenix:localhost:2181> create table if not exists "staff"(
. . . . . . . . . . . . . . . > id varchar primary key,
. . . . . . . . . . . . . . . > name varchar,
. . . . . . . . . . . . . . . > age varchar);
No rows affected (1.28 seconds)
0: jdbc:phoenix:localhost:2181> !table
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+------+
| TABLE_CAT | TABLE_SCHEM | TABLE_NAME | TABLE_TYPE | REMARKS | TYPE_NAME | SELF_REFERENCING_COL_NAME | REF_GENERATION | INDEX_STATE | IMMU |
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+------+
| | SYSTEM | CATALOG | SYSTEM TABLE | | | | | | fals |
| | SYSTEM | FUNCTION | SYSTEM TABLE | | | | | | fals |
| | SYSTEM | LOG | SYSTEM TABLE | | | | | | true |
| | SYSTEM | SEQUENCE | SYSTEM TABLE | | | | | | fals |
| | SYSTEM | STATS | SYSTEM TABLE | | | | | | fals |
| | | staff | TABLE | | | | | | fals |
+------------+--------------+-------------+---------------+----------+------------+----------------------------+-----------------+--------------+------+
SpringBoot整合开发
用的org.apache.phoenix:phoenix-core:5.0.0-HBase-2.0这个依赖，slf4j绑定跟springboot的冲突，所以exclude掉：
plugins {
id 'org.springframework.boot' version '2.1.13.RELEASE'
id 'io.spring.dependency-management' version '1.0.9.RELEASE'
id 'java'
}
version = '0.0.1-SNAPSHOT'
sourceCompatibility = '1.8'
repositories {
mavenLocal()
maven { url 'http://maven.aliyun.com/nexus/content/groups/public/' }
//mavenCentral()
}
dependencies {
implementation 'org.springframework.boot:spring-boot-starter-web'
implementation 'org.springframework.boot:spring-boot-starter-jdbc'
implementation 'org.springframework.boot:spring-boot-starter-test'
implementation 'org.projectlombok:lombok:1.18.22'
annotationProcessor('org.projectlombok:lombok')
compile group: 'com.alibaba', name: 'fastjson', version: '1.2.73'
compile('org.apache.phoenix:phoenix-core:5.0.0-HBase-2.0'){
exclude group: 'org.slf4j'
}
}
phoenix支持JDBC，这里选了Spring JDBC也就是JdbcTemplate来通过phoenix对HBase做增删改查。
数据源配置：
server.port=8080
spring.application.name=hbase-test
spring.datasource.driver-class-name=org.apache.phoenix.jdbc.PhoenixDriver
spring.datasource.name=phoenixDataSource
spring.datasource.url=jdbc:phoenix:122.xx.xxx.187:2181
演示代码：
应用启动的时候创建一个custem_user表：
@Slf4j
@Component
public class SystemInitRunner implements ApplicationRunner{
@Autowired
private JdbcTemplate jdbcTemplate;
@Override
public void run(ApplicationArguments args) throws Exception {
log.info("应用启动...");
initHBaseTables();
}
public void initHBaseTables() {
StringBuilder builder = new StringBuilder();
builder.append("CREATE TABLE IF NOT EXISTS \"custemuser\" (")
.append("\"uid\" VARCHAR primary key,")
.append("\"basic\".\"name\" VARCHAR,")
.append("\"basic\".\"mobile\" VARCHAR)");
String sql = builder.toString();
log.info("开始执行HBase建表语句 {}" , sql);
try {
jdbcTemplate.execute(sql);
log.info("HBase custemuser表创建完毕");
}catch(DataAccessException e) {
log.error("HBase custemuser表创建失败：{}", e.getMessage());
throw new RuntimeException(e.getCause());
}
}
}
对custem_user表的新增与查询接口：
@Slf4j
@RestController
@RequestMapping("/hbase")
public class HBaseTestController {
@Autowired
private JdbcTemplate jdbcTemplate;
@RequestMapping(value = "/addUser", method = RequestMethod.POST)
public void addUser(@RequestBody CustemUser user) {
String sql = "upsert into \"custemuser\" values(?,?,?)";
int ret = jdbcTemplate.update(sql, new PreparedStatementSetter() {
@Override
public void setValues(PreparedStatement ps) throws SQLException {
ps.setString(1, user.getUid());
ps.setString(2, user.getName());
ps.setString(3, user.getMobile());
}});
log.info("HBase表custem_user已添加修改完毕，数据库返回{}", ret);
}
@RequestMapping(value = "/getUserByMobile", method = RequestMethod.GET)
public CustemUser getUserByMobile(String mobile) {
String sql = "select * from \"custemuser\" where \"basic\".\"mobile\" = ?";
CustemUser user= jdbcTemplate.queryForObject(sql,
new Object[] {mobile},
new RowMapper<CustemUser>() {
@Override
public CustemUser mapRow(ResultSet rs, int rowNum) throws SQLException {
CustemUser u = new CustemUser();
u.setUid(rs.getString(1));
u.setName(rs.getString(2));
u.setMobile(rs.getString(3));
return u;
}});
log.info("HBase用户查询结果{}", JSON.toJSONString(user));
return user;
}
}
DTO对象：
@Setter
@Getter
@NoArgsConstructor
@ToString
public class CustemUser {
private String uid;
private String name;
private String mobile;
}
postMan测试：
POST http://localhost:8080/hbase/addUser
requestBody:
{
"uid":"1001",
"name":"肥兔子爱豆畜子",
"mobile":"137xxxx8612"
}
GET http://localhost:8080/hbase/getUserByMobile?mobile=137xxxx8612
返回：
{
"uid": "1001",
"name": "肥兔子爱豆畜子",
"mobile": "137xxxx8612"
}
Phoenix SQL语法
我们直接使用hbase shell去数据库里看一下custem_user的记录：
hbase(main):013:0> scan "custem_user"
ROW COLUMN+CELL
1001 column=0:\x00\x00\x00\x00, timestamp=1642576351561, value=x
1001 column=0:\x80\x0B, timestamp=1642576351561, value=\xE8\x82\xA5\xE5\x85\x94\xE5\xAD\x90\xE7\x88\xB1\xE8\xB1\x86\x
E7\x95\x9C\xE5\xAD\x90
1001 column=0:\x80\x0C, timestamp=1642576351561, value=137xxxx8612
1 row(s)
Took 0.0814 seconds
可以看到Rowkey对应的就是我们建的表的主键id，然后id、name、mobile3个列一起被归到0这个列族了，这是因为我们在建表的时候没有指定列族。把建表语句改一下就行了：
CREATE TABLE IF NOT EXISTS "custem_user" (
"uid" VARCHAR primary key,
"basic"."name" VARCHAR,
"basic"."mobile" VARCHAR)
就可以把name和mobile归结到basic这个列族里。
一般开发时在写到Java代码之前可以用DBeaver工具测试一下SQL是否正确：
CREATE TABLE IF NOT EXISTS "test" (
"uid" VARCHAR primary key,
"basic"."name" VARCHAR,
"basic"."mobile" VARCHAR
);
UPSERT INTO "test" values('123','liny','13789388372');
UPSERT INTO "test" values('456','douchuzi','13429586338');
SELECT * FROM "test" WHERE "basic"."mobile" = '13789388372';
SELECT * FROM "test" WHERE "mobile" = '13429586338';
上面两种查询方式都是可以的。
而如下这么写不行：
SELECT * FROM "test" WHERE mobile = '13429586338';
报错：SQL 错误 [504] [42703]: ERROR 504 (42703): Undefined column. columnName=test.MOBILE
Phoenix SQL里边表名、列明都是大小写敏感的，需要用双引号标识，我们建表的时候表custem_user的basic列族下mobile列，WHERE条件后的mobile字段没有加双引号，而从报错信息看显然是去按照test.MOBILE去找列了。
实践中遇到的问题：
坑1：
应用启动的时候报错：HADOOP_HOME AND HADOOP.HOME.DIR ARE UNSET，解决办法是去steveloughran/winutils: Windows binaries for Hadoop versions (github.com) 下载各版本Hadoop的winutil到本地，然后设置好环境变量就可以了。依赖包里可以看到是Hadoop3.0，所以设置里边的3.0目录到环境变量HADOOP_HOME，重启IDE即可。
坑2：
应用开始运行后用phoenix创建表的时候报错：Can not resolve VM_0_11_centos, please check your network java.net.UnknownHostException: VM_0_11_centos
报错日志可以看到是hbase-client连接失败，VM_0_11_centos是笔者远程HBase所在服务器的机器名，查阅一些文档发现HBase的Region Server启动的时候就是把自己的hostname存放在zookeeper的、而不是ip，所以在客户端本地hosts文件中添加：122.xx.xxx.187 VM_0_11_centos，然后刷新下windows的本地dns即可：
ipconfig /displaydns
ipconfig /flushdns
下一步进阶
HBase的原理，包括它的架构和集群搭建。
底层存储LSM-Tree数据结构，数据读写流程。
由底层存储结构和架构决定的性能特性，使用场景：海量数据存储、高性能的随机写、较高性能的随机读。
集群服务故障的处理机制，集群工具，周边生态，性能调优以及最佳实践等。
参考：
入门环境搭建与Phoenix集成开发：
SpringBoot - 使用Phoenix操作HBase教程2（使用JdbcTemplate） (hangge.com) 系列
基础概念：
我终于看懂了HBase，太不容易了... - 知乎 (zhihu.com)
入门HBase，看这一篇就够了 - 简书 (jianshu.com)
Hbase--读取数据快还是写数据快 - 简书 (jianshu.com)
架构应用：
云数据库HBase，云时代的大会数据存储 - 阿里云 (aliyun.com)
分库分表技术演进暨最佳实践 - 简书 (jianshu.com)
HBase实战 | 从MySQL到HBase：数据存储方案转型的演进-阿里云开发者社区 (aliyun.com)
基于HBase快速构建 海量订单存储系统-阿里云开发者社区 (aliyun.com)
参考书：
《HBase实战》
