SnapshotScanMR的思考与问题（一）

2020-07-01 本文已影响0人喜欢打游戏的摸鱼怪

吐槽：最近天天加班，好不容易下定决心写写文章做做总结输出......唉，拿着微薄的工资活还不少......

说明：关于HBase中SnapshotScanMR打算分成3-4次写完。本次主要介绍开发过程需要的一些问题由来。

缘由

问题起因主要是在项目中有那种大量数据请求的需求，但是这类需求实际上对实时性要求不高。但是大量数据的请求通过Scan API很容易就会对集群造成比较大的压力，而本菜所在的项目就是负责底层数据的存储和检索（对其他系统提供数据接口）。在测试环境中出现过好几次因为大量大数据请求导致集群节点宕机。通过查看相关的文章和官网内容本菜偶然之间发现了SnapshotScanMR，这个API允许绕过HBase上的RegionServer服务，直接在Client端进行HBase数据文件的扫描。

本菜在第一眼看见这个API就感觉这不就是我苦苦寻觅的ta，既然看上眼了当然就得好好测试写个demo（ps：后面的文章会介绍本菜咋写的）。

问题

学习使用和工作上的使用往往是天差地别的！

学习过程往往就是搭建一个集群->建表->模拟数据->编写mapreduce程序调用该接口->测试成功->我会了->hahahahヾ(Ő∀Ő๑)ﾉ太好惹
然而现实是->............很骨感的ｍ（＿＿；；ｍ

本菜系统采用的是Phoenix + HBase的形式，首先数据类型就存在一定的问题了，Phoenix的数据类型需要转换一下才能使用。这个类型转换可以查看以前的文章，还不懂的可以留言(ps:本菜会尽量帮助有需要的人的，当然能力之内。因为我也菜)。其实Phoenix数据类型这个问题还真不是啥大问题，挺好解决的。但是为了避免HBase数据热点以及为了提升检索入库性能，我们这边还采用了SALT BUCKET。SALT BUCKET是Phoenix中提供的一种加盐分区，这种加盐分区实际就是在RowKey前缀加1byte的数字（16进制的，所以取值为1-256）。根据盐值的不同，数据会被分散到各个不同的RegionServer节点上（ps：就是hash散列一样）。在入库的时候就是往多台机器同时插入数据，检索也是同时多台机器同时检索，这大大提升了入库和检索的效率且可以在一定程度上有效的避免数据热点问题。在使用Phoenix的时候，Phoenix会屏蔽加盐值和去盐值的过程，在使用方式中和没有使用SALT BUCKET是没有什么不同的。但是我们如果需要使用SnapshotScanMR来完成HBase数据的检索，那么我们就有问题了！

HBase中真实的数据中第1个byte是盐值，我们在检索的时候是不能忽悠的。HBase只支持一级索引没有二级索引，如果直接放弃一级索引直接全表扫描，那么速度绝对是感人的.......所以HBase的一级索引是绝对不能放弃的！！！既然不能放弃，那么研究Phoenix内部加盐和去盐的原理就很有必要了。ヽ(ｏ`皿′ｏ)ﾉ

具体Phoenix这块加盐去盐过程的分析打算以后写一篇文章总结一下，现在就直接简单讲述一下原理。举个例子说明，我们需要获取原主键20200601到20200605的中间的数据，我们这时候表的salt bucket设置为3，那么一开始的分区就为0，1，2 三个分区，那么我们只需要将原本的一个scan请求转换成3个scan请求即可，分别为020200601到020200605、120200601到120200605、220200601到220200605。当然RowKey不可能是这样拼的，这里只是为了更好的表示，真的拼接应该是将20200601和20200605转成byte数组然后在数组最前面插入一个16进制的0、1或2。Phoenix原理大致就是这样的，更加具体的等待后面本菜写出来吧ヾ(≧O≦)〃嗷~

事情到了这里好像SnapshotScanMR这个API已经可以直接用了，那么我们再来看一下API介绍把：

public static void initTableSnapshotMapperJob(String snapshotName, Scan scan,
      Class<? extends TableMapper> mapper,
      Class<?> outputKeyClass,
      Class<?> outputValueClass, Job job,
      boolean addDependencyJars, Path tmpRestoreDir)
  throws IOException {
    TableSnapshotInputFormat.setInput(job, snapshotName, tmpRestoreDir);
    initTableMapperJob(snapshotName, scan, mapper, outputKeyClass,
        outputValueClass, job, addDependencyJars, false, TableSnapshotInputFormat.class);
    resetCacheConfig(job.getConfiguration());
  }

这个API有一个值得注意的地方！！！参数只支持一个Scan？？？what？？？再找找发现没有重载的方法........wtf那么这条路死了？？？

Phoenix + salt bucket + hbase => 不能使用SnapshotScanMR ？？？？

思路

思路这里先不过多介绍了，先给个提示查看一下在这个方法下面有几个方法:

 public static void initTableMapperJob(List<Scan> scans,
      Class<? extends TableMapper> mapper,
      Class<?> outputKeyClass,
      Class<?> outputValueClass, Job job) throws IOException {
    initTableMapperJob(scans, mapper, outputKeyClass, outputValueClass, job,
        true);
  }
 public static void initTableMapperJob(List<Scan> scans,
      Class<? extends TableMapper> mapper,
      Class<?> outputKeyClass,
      Class<?> outputValueClass, Job job,
      boolean addDependencyJars) throws IOException {
    initTableMapperJob(scans, mapper, outputKeyClass, outputValueClass, job,
      addDependencyJars, true);
  }
  public static void initTableMapperJob(List<Scan> scans,
      Class<? extends TableMapper> mapper,
      Class<?> outputKeyClass,
      Class<?> outputValueClass, Job job,
      boolean addDependencyJars,
      boolean initCredentials) throws IOException {
    job.setInputFormatClass(MultiTableInputFormat.class);
    if (outputValueClass != null) {
      job.setMapOutputValueClass(outputValueClass);
    }
    if (outputKeyClass != null) {
      job.setMapOutputKeyClass(outputKeyClass);
    }
    job.setMapperClass(mapper);
    Configuration conf = job.getConfiguration();
    HBaseConfiguration.merge(conf, HBaseConfiguration.create(conf));
    List<String> scanStrings = new ArrayList<String>();

    for (Scan scan : scans) {
      scanStrings.add(convertScanToString(scan));
    }
    job.getConfiguration().setStrings(MultiTableInputFormat.SCANS,
      scanStrings.toArray(new String[scanStrings.size()]));

    if (addDependencyJars) {
      addDependencyJars(job);
    }

    if (initCredentials) {
      initCredentials(job);
    }
  }

这三个方法都是支持List<Scan>的，那么为什么他们支持？SnapshotScanMR 就不支持呢？有兴趣的可以思考一下，下篇文章将进入分析一下。

末尾

以前都是个人的理解和见解，如果有不同意见或者是疑问可以到公众号“喜欢打游戏的摸鱼怪”留言。iヾ(o◕∀◕)ﾉヾ

时间有限还有别的事，就先水一篇文章了ヾ(o◕∀◕)ﾉヾ.......别问我为啥胆子这么肥，因为我是佛系输出ヾ(o◕∀◕)ﾉヾ

SnapshotScanMR的思考与问题（一）

缘由

问题

思路

末尾

猜你喜欢

热点阅读