计算引擎访问HBase的几种方式介绍
2019-06-21 本文已影响57人
皮皮杂谈
HBase提供了多种访问方式,包括HBase shell、HBase API、数据收集组件(比如Flume、Sqoop等)、上层计算框架以及Apache Phonnix等,本文将介绍计算引擎访问HBase的几种方式。
访问方式HBase提供了TableInputFormat和TableOutputFormat两个组件供各类计算引擎并行读取或写入HBase中的数据。
其中,TableInputFormat以HBase Region为单位划分数据,每个Region会被映射成一个InputSplit,可被一个任务处理;TableOutputFormat可将数据插入到HBase中。
用户也可以直接使用SQL访问HBase中的数据,查询引擎Hive,Impala及Presto等对HBase有良好的支持。
由于HBase中存储的并非标准关系型数据,因此,使用SQL查询时需将HBase中的表映射到一个关系型数据库中。