ThensorFlow

android opencv 人脸截取

2017-04-11  本文已影响800人  dean550

需求

启动摄像头,在预览视频流中识别人脸,并标注人脸框;当用户按下拍照按钮,将人脸部分裁剪出来,现实在ImageView中。

图片来自于网络

解决方案

开发环境:android studio、ecplise

1.人脸标注功能可采用第三方依赖库实现,如谷歌自带的FaceDetector、Face++、科大讯飞等。当拍照按钮被按下,先把整张图像保存下来,再启动系统自带的CROP应用,指引用户手动定位到人脸区域并截图。

   缺点:操作复杂,用户需进行4次点击操作;整个流程下来耗时约7秒。

2.采用开源库open cv,该已封装好人脸检测功能,可自动将人脸区域标注出来,当用户按下拍照按钮,直接将人脸数据转换为bitmap,即可显示。

   缺点:open cv对安卓系统的兼容性还不是很好,相应的so库需要手动编译。版本也较多,不同版本之间的也有一定的差异性。

明显看得出,第二方案优于第一方案,花了好一些时间,填了好些坑才把功能调通了。下面把整个debug过程记录下来,供他人参考。

1.文件下载

第一想法,是去官网opencv.org/下,目前官网提供的最新版本是3.2,是寄存在Github上,可能是由于国外服务器的原因,我电脑没翻墙,就总是下载不了,也没啥错误提示。现在我把文件上传到了百度云盘,方便大家下载:pan.baidu.com/s/1qYyfxzI

文件的结构我就不去分析了,网上很多这方面的资料。

2.so库编译

官网提供的文件里面并没有包含android可调用的so库文件,只提供了相应的头文件、编译文件。关于这点,我也是挺疑惑的,为何官网不直接编译好so文件,同时也保留相应的头文件、编译文件,有特殊需求的再去重新编译。

实现ndk编译,需要先搭建好编译环境(搭建方法,百度一下,要多详细有多详细)。打开cmd,进入到项目(我这里用的是face-detection)结构下的jni文件夹,如:

输入 ndk-build 执行后,libs下(我用的是ecplise)便会多出一个文件:

编译好的so文件

3.排除错误

将项目和sdk都导入到ecplise中,会提示camera2这个类找不到。查了一下,这个类是从Android5.0之后才引入的,但opencv sdk默认的编译版本是4.0.这点上,感觉官方真的好坑。解决起来也很容易,修改project.properties文件中的target=android-21

解决以上错误后,项目就可以跑起来了,但如果没有第2步编译的so文件,应用一启动就会蹦了,log只看到某个类加载不了。在这里卡了好一段时间,官方既不提供so库,log提示又没有明确说明是由于某个动态库未加载。

4.去除manager

在使用某个功能时,需要先安装一个manager.apk应用,官方将某些服务封装到了manager.apk里面。无疑,这是一个很鸡肋的操作。

其实要解决起来也很简单,在官网下载的文件中,找到sdk-->native-->libs-->armeabi-v7(这是我的设备架构,大家需要根据自己的设备来选择不同的文件夹)-->libopencv_java3.so   将该文件拷贝至项目下,clean一下,再运行,就可以脱离manager.apk正常运行了。

5.数据格式转换

face-detection项目跑起来后,也只是捕捉到了人脸数据。我们需要将rect类型的数据转换为bitmap,但官网并没有提供现有的方式进行转换,只能讲rect先转为mat,再转换为bitmap,相关函数为:

rect-->mat  Utils.matToBitmap(Rect roi)

mat-->bitmap Utils.matToBitmap(Mat mat, Bitmap bitmap);

总结

以上看似简单的几个步骤,实际上花了将近一周的时间,现在回头想想,根源是对opencv实现流程不熟悉,套用惯性思维去对待。下意识总觉着,官方下载下来的东西都是可以直接跑的。这次算是长见识了。如对上述项目源码有需要的,可以将邮箱留言,我会第一时间给你发过去。opencv还有很多强大的功能,后期有时间慢慢研究。

上一篇下一篇

猜你喜欢

热点阅读