程序猿学习Android知识库Android

AR红包Android端实现原理

2017-03-27  本文已影响3722人  1s的消失

前不久支付宝推出了AR红包的功能，风靡一时，最近刚好完成了这样的需求，特此整理分享，以求相互学习、共同进步。有鉴于公司接下来可能的商用，就不在这里贴源码了，仅简单说一下实现思路和原理。

话不多讲，先上流程图：

AR红包.png

藏红包

一、初始化相机

相机类android.hardware.Camera，但是很遗憾它过时了，Google在Android5.0后推出了更强大的android.hardware.camera2包，但是为了兼容低版本这里依然使用android.hardware.Camera类（有兴趣的同学可以通过Android Camera2 拍照入门学习这篇了解camera2的实现方式）。

  1. Camera.open()开启相机；
  2. Camera.getParameters()获取参数类并设置，缺少这一步相机的预览画面会变成横向的、模糊的。
    需要设置的内容：
    parameters.setPictureSize图片分辨率，
    parameters.setPreviewSize预览图像分辨率，这两项需要根据设备支持的列表具体计算这里不再赘述parameters.setPreviewFormat预览图像转码格式，
    parameters.setJpegQuality照片质量，这里并不需要拍照可以忽略，
    parameters.setFocusMode对焦模式，连续对焦需要加camera.cancelAutoFocus()
    camera.setDisplayOrientation预览画面方向，这里旋转90。

记得权限（Android6.0后需要动态申请。）：

<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.FLASHLIGHT" />
<uses-feature android:name="android.hardware.camera" />
<uses-feature android:name="android.hardware.camera.autofocus" />
<uses-feature android:name="android.hardware.camera.flash" />

二、绑定surfaceView

  1. 找到surfaceView后getHolder()获得surfaceHolder引用；
  2. holder.setType设置类型；
  3. holder.addCallback添加回调；
  4. Camera.setPreviewDisplay(holder)将surfaceHolder传入Camera；
  5. Camera.startPreview()开启预览图像。

三、获取一帧预览图像

Camera.setOneShotPreviewCallback(PreviewCallback cb)方法可以获取一帧预览图像，数据会返回到PreviewCallback 回调中的 onPreviewFrame(byte[] data,Camera camera)方法中，data即为帧数据。

四、预处理图像

首先明确一点，处理图像和接下来的其他耗时计算都要放到子线程中，不要问我为什么，编译器会告诉你答案。onPreviewFrame方法中的data并不能直接直接转为bitmap，需要先进行转码：

        Camera.Size size = camera.getParameters().getPreviewSize();
        YuvImage image = new YuvImage(data, ImageFormat.NV21, size.width, size.height, null);
        ByteArrayOutputStream stream = new ByteArrayOutputStream();
        image.compressToJpeg(new Rect(0, 0, size.width, size.height), 80, stream);
        Bitmap bmp = BitmapFactory.decodeByteArray(stream.toByteArray(), 0, stream.size());

五、奇数帧？偶数帧？

为什么要分奇数偶数呢？当做好相机的准备工作后，要藏红包，实际上需要解决的就是排除不需要的图像，首先要做到的就是舍弃用户移动时获取的图像，最先的想法是利用加速度传感器，但是随后发现手机匀速移动的时候是没有加速度的，而这时获取的图像仍需舍弃。后来找到的解决方案是：不停获取帧图像，比较相邻两帧的相似度，当相似度达到某个阈值时视为相似，连续数次比较皆为相似可知用户所对位置即用户想要藏红包的地方，将此时获取的帧图保存即可。

六、相似？

比较相似的方法网上有挺多，有直接拿像素比较的，有处理成灰度图像比较的，有转成哈希值比较的，比较方法不同得到的数值也不同，所要设定的阈值也随之改变，具体看需求能达到目的就好。细心的同学会发现支付宝在藏红包的时候并不是所有地方都可以藏，有些没有意义、过度单调的地方是没办法藏的，这里实现的方式是计算图片像素“丰富度”（缺少图像学知识暂且这么叫吧）。得到图片所有像素点的值，去除重复，所得到的所有不同像素值的个数越小说明图片颜色越“单调”，然后根据这个个数值设置阈值进行判断。

七、确定红包位置

得到满足要求的帧图后，停止获取帧图，停止相机预览Camera.stopPreview()，将图片直接上传服务器或者转成哈希值传给服务器，也可以同时传些位置坐标等参数，这个看具体需求，这些数据即为所藏红包的“指纹”。

找红包

找红包相对简单，相同的逻辑不在赘述，只需要：

  1. 获取已藏红包的位置图片，
  2. 与获取的预览帧图比较，
  3. 不相似继续取帧图，相似停止取帧，即找到红包。

可以根据需求增加位置坐标范围判断和用户身份判断。

一点思考

首先我们对比下扫描二维码和扫描AR红包的实现原理：

二维码与找红包对比.png
不难发现，整个扫描流程十分相似。其实在我看来，AR红包可以理解为是一个特殊的“二维码”，只不过这个“二维码”上不再是特殊的几何图形，而是一张图片。支付宝“扫一扫”中左边是“二维码”右边是“AR”，有力地支持了我的逻辑。那么按照这个逻辑再来看整个AR红包，可以发现“藏红包”其实就是一个生成“二维码”的过程，“找红包”自然就是扫描“二维码”了。
那么AR红包又与二维码有什么区别？

我们知道二维码是按照一定规律生成的特殊几何图形，可以进行编码解析，即二维码中是内含信息的；而AR红包实际上只是一张图片，不包含信息。这也是为什么支付宝要通过红包地图和用户的方式将AR红包区分开的原因，否则如果两个用户在同一个位置藏了红包，扫描时将无法区分它们。既然如此那为什么还要有AR红包的存在呢？

AR红包相对于二维码的优缺点

优点：

缺点：

实现AR红包的过程中，让我深深的感到对图像处理知识的缺乏，这篇文章权当总结，一些浅见难免有疏忽纰漏，还往大家不吝赐教，共同进步。

参考：

Android二维码扫描开发（一）：实现思路与原理
Android实现图片相似度
Android 手把手带你玩转自定义相机
Android Camera2 拍照入门学习

上一篇 下一篇

猜你喜欢

热点阅读