HBase集成MapReduce
2018-05-06 本文已影响29人
明明德撩码
HBase集成MapReduce配置
HBase与MapReduce集成时是需要jar包的，加载步骤如下：
- 可以通过bin/hbase maperduce命令查看。如图所示，为集成需要的jar包。
[beifeng@hadoop-senior hbase-0.98.6-hadoop2]$ bin/hbase mapredcp
- 设置HBase、Hadoop环境变量
export HADOOP_HOME=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6
export HBASE_HOME=/opt/sofewares/hbase/hbase-0.98.6-hadoop2
HBase集成MapReduce入门
HBase默认集成的一些MapReduce程序，都在hbase-server-0.98.6-haddop2.jar这个包里面。
- cellcounter：统计HBASE表中有多少个cells的个数
- rowcounter：统计hbase中有多少条数据
- 步骤如下：
1、启动resourcemanager
2、启动nodemanager
3、启动historyserver - 运行rowcounter
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-hadoop2.jar rowcounter user
注意HADOOP_CLASSPATH 的值中包含反勾号`。反引号的作用就是将反引号内的Linux命令先执行，然后将执行结果赋予变量
结果：
image.png
