Hadoop之MapReduce访问Hbase及案例

2020-04-26  本文已影响0人  汤汤的汤

MapReduce访问Hbase

Mapreduce访问hbase数据作分析一定是在离线分析的场景下应用。


框架

Hbase MapReduce核心类

1.MapReduce基本编程模型

通过Mapper和Reducer来处理KV对,Mapper的输出经Shuffle及Sort后变为Reducer的输入


mapreduce基本编程模型

2.核心类

InputFormat和OutputFormat,定义了Map-Reduce的输入和输出相关的东西。HBase通过对这些类的扩展(继承)来方便MapReduce任务来读写HTable中的数据。


核心类

案例

1.Hbase表数据转移

2.从Hbase中读取数据、分析,写入hdfs

3.MapReduce从HDFS读取数据存储到HBase中

参考:https://www.jianshu.com/p/53864dc3f7b4
https://www.cnblogs.com/Transkai/p/10748536.html
https://www.jianshu.com/p/1dabb1a7374f
https://www.cnblogs.com/qingyunzong/p/8681490.html

感谢以上参考文章作者提供的帮助!此博客只是作一个简单的笔记归纳!再次感谢!

上一篇下一篇

猜你喜欢

热点阅读