超简单集成华为HMS Core MLKit通用卡证识别SDK,一
标题前言
华为HMS MLKit提供的服务越来越多了,除常见的了银行卡识别的功能,大家可能还会疑问日常生活中的银行卡,会员卡可以识别吗,或者某一类证件号识别?也没有问题~但因为不同商家的卡号位置,版面样式各异,所以无法像银行卡识别那样使用专用的银行卡识别API,这个时候我们可以选用通用卡证识别的能力,通用卡证识别可以给大家提供一个标准的通用卡证对准框,大家只需要拉起这个对准框,就可以获取对准框内识别到的卡证全部内容,这个时候再针对这些内容按照一定的规则做关键信息提取,即可获取到自己想要的内容,比如连续的8位数字即为卡号,或者在某些特殊字母后的内容即为卡号内容。
通用卡证识别的应用场景
通用卡证识别,顾名思义,是各种卡证的识别,能识别的范围很广,常用的应用场景:
旅游绑证
旅游类APP需要对身份证等信息进行绑定,用于购票、酒店预订等场景,通过对此类证件进行拍照自动识别,可以避免手动输入证件号容易出错的问题
购物绑卡
购物类APP,通过拍照识别快速绑定会员卡、购物卡、打折卡。
银行卡、中国二代身份证号码识别虽然可以也可以使用通用卡证识别来完成,但推荐使用华为ML Kit的专有的银行卡识别、身份证识别的API,专有卡证识别针对银行卡、身份证识别做了特别的优化,准确率更高,可以直接返回处理好以后的卡号数据,小编后续可以详细介绍下专有卡证和通用卡证识别的区别。
如何使用通用卡证识别服务
给大家画了个简单的流程图,可以看到只需要把图片、拍照、视频流传给ML Kit,即可获取到对应的识别内容,针对识别内容做一定后处理即可提取出要识别的卡证号内容。
集成通用卡证识别服务的关键流程
可以看到开发流程也非常的简单,只需要启动卡证识别Activity,获取Activity识别到的内容,然后对内容做简单后处理提取关键信息就可以完成代码开发了。
核心提示,端侧能力全免费,全终端覆盖!非华为手机也可以使用
开发实战
本次的开发实战中实现了对港澳通行证、回乡证、香港居民身份证的处理,大家伙可参考实现。
1 开发准备
详细的准备步骤可以参考华为开发者联盟:
https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-process-4
这里列举关键的开发步骤。
1.1 在项目级gradle里添加华为maven仓
打开AndroidStudio项目级build.gradle文件,增量添加如下maven地址:
buildscript {
repositories {
maven {url 'http://developer.huawei.com/repo/'}
} }allprojects {
repositories {
maven { url 'http://developer.huawei.com/repo/'}
}}
1.2 在应用级的build.gradle里面加上SDK依赖
dependencies{
// 引入基础SDK
implementation 'com.huawei.hms:ml-computer-vision-ocr:1.0.3.300'
// 引入拉丁语文字识别模型包
implementation 'com.huawei.hms:ml-computer-vision-ocr-latin-model:1.0.3.300'
// 引入银行卡识别plugin包
implementation 'com.huawei.hms:ml-computer-card-gcr-plugin:1.0.3.300' }
将以下语句添加到AndroidManifest.xml文件中:
<manifest
...
<meta-data
android:name="com.huawei.hms.ml.DEPENDENCY"
android:value= "ocr"/>
... </manifest>
1.3 配置混淆脚本
按照官网操作指导来就行了:
https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-configuringobfuscation-scripts-4
1.4 在AndroidManifest.xml文件里面申请相机和存储权限
都是些基本操作,废话也不多说,按照官网指导来操作:
https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-assigning-permissions-4
2 代码开发
2.1 启动卡证识别
@Override
public void onClick(View v) {
switch (v.getId()) {
// 相册图片检测按钮。
case R.id.detect_picture:
this.startLocalImageActivity(cardImage, null, callback);
break;
// 视频流检测按钮。
case R.id.detect_video:
this.startCaptureActivity(null, callback);
break;
// 拍照检测按钮。
case R.id.detect_take_photo:
this.startTakePhotoActivity(null, callback);
break;
default:
break;
} }
视频流识别
private void startCaptureActivity(Object object, MLGcrCapture.Callback callback) {
// 创建通用卡证识别配置器。
MLGcrCaptureConfig cardConfig = new MLGcrCaptureConfig.Factory().create();
// 创建通用卡证识别界面配置器。
MLGcrCaptureUIConfig uiConfig = new MLGcrCaptureUIConfig.Factory()
// 设置扫描框颜色。
.setScanBoxCornerColor(Color.GREEN)
// 设置扫描框中的提示文字,建议少于30个字符。
.setTipText("Recognizing, align edges")
// 设置识别界面横竖屏,支持三种模式:
// MLGcrCaptureUIConfig.ORIENTATION_AUTO:自动模式,由物理感应器决定显示方向。
// MLGcrCaptureUIConfig.ORIENTATION_LANDSCAPE:横屏模式。
// MLGcrCaptureUIConfig.ORIENTATION_PORTRAIT:竖屏模式。
.setOrientation(MLGcrCaptureUIConfig.ORIENTATION_AUTO)
.create();
// 方式一:根据自定义的卡证识别界面配置器,创建通用卡证识别处理器。
MLGcrCapture ocrManager = MLGcrCaptureFactory.getInstance().getGcrCapture(cardConfig, uiConfig);
// 方式二:使用默认界面,创建通用卡证识别处理器。
MLGcrCapture ocrManager = MLGcrCaptureFactory.getInstance().getGcrCapture(cardConfig);
// 绑定通用卡证识别处理器和处理结果回调函数。
ocrManager.capturePreview(this, object, callback); }
拍照识别
private void startTakePhotoActivity(Object object, MLGcrCapture.Callback callback) {
// 创建通用卡证识别配置器。
MLGcrCaptureConfig cardConfig = new MLGcrCaptureConfig.Factory().create();
// 创建通用卡证识别界面配置器。
MLGcrCaptureUIConfig uiConfig = new MLGcrCaptureUIConfig.Factory()
// 设置扫描框颜色。
.setScanBoxCornerColor(Color.BLUE)
// 设置扫描框中的提示文字,建议少于30个字符。
.setTipText("Taking picture, align edges")
// 设置界面横竖屏,支持三种模式:
// MLGcrCaptureUIConfig.ORIENTATION_AUTO:自动模式,由物理感应器决定显示方向。
// MLGcrCaptureUIConfig.ORIENTATION_LANDSCAPE:横屏模式。
// MLGcrCaptureUIConfig.ORIENTATION_PORTRAIT:竖屏模式。
.setOrientation(MLGcrCaptureUIConfig.ORIENTATION_AUTO)
.create();
// 方式一:根据自定义的卡证识别界面配置器,创建通用卡证识别处理器。
MLGcrCapture ocrManager = MLGcrCaptureFactory.getInstance().getGcrCapture(cardConfig, uiConfig);
// 方式二:使用默认界面,创建通用卡证识别处理器。
MLGcrCapture ocrManager = MLGcrCaptureFactory.getInstance().getGcrCapture(cardConfig);
// 绑定通用卡证识别处理器和处理结果回调函数。
ocrManager.capturePhoto(this, object, callback); }
相册图片识别
private void startLocalImageActivity(Bitmap bitmap, Object object, MLGcrCapture.Callback callback) {
// 创建通用卡证识别配置器。
MLGcrCaptureConfig config = new MLGcrCaptureConfig.Factory().create();
MLGcrCapture ocrManager = MLGcrCaptureFactory.getInstance().getGcrCapture(config);
// bitmap 为需要识别的Bitmap类型卡证图像,支持的图片格式包括:jpg/jpeg/png/bmp。
ocrManager.captureImage(bitmap, object, callback); }
2.2 对识别后的内容做后处理,进行关键信息提取
重载onResult, onCanceled, onFailure, onDenied四个方法;onResult表示返回了结果,MLGcrCaptureResult为卡证识别返回的结果,onCanceled 表示用户取消,onFailure 表示识别失败,onDenied 表示相机不可用等场景。
private MLGcrCapture.Callback callback = new MLGcrCapture.Callback() {
@Override
public int onResult(MLGcrCaptureResult result, Object object) {
Log.i(TAG, "callback onRecSuccess");
if (result == null) {
Log.e(TAG, "callback onRecSuccess result is null");
return MLGcrCaptureResult.CAPTURE_CONTINUE;
}
GeneralCardProcessor idCard = null;
GeneralCardResult cardResult = null;
/*港澳台通行证处理*/
if (cardTypeEnum == CardType.PASSCARD) {
idCard = new PassCardProcessor(result.text);
/*香港身份证处理*/
} else if (cardTypeEnum == CardType.HKIDCARD) {
idCard = new HKIdCardProcessor(result.text);
/*回乡证处理*/
} else if (cardTypeEnum == CardType.COMEHOMECARD) {
idCard = new HomeCardProcessor(result.text);
}
if (idCard != null) {
/*获取处理后的结果*/
cardResult = idCard.getResult();
}
showFrontImage(result.cardBitmap);
displayResult(cardResult);
// If the results don't match
if (cardResult == null || cardResult.valid.isEmpty() || cardResult.number.isEmpty()) {
return MLGcrCaptureResult.CAPTURE_CONTINUE;
}
displayResult(cardResult);
return MLGcrCaptureResult.CAPTURE_STOP;
}
};}
};
具体的卡号提取处理逻辑可以通过重写GeneralCardProcessor 类中的getResult()方法来完成,以港澳台通行证举例,更加详细的处理可以看github上的源码:
public class PassCardProcessor implements GeneralCardProcessor {
private static final String TAG = "PassCardProcessor";
private final MLText text;
public PassCardProcessor(MLText text) {
this.text = text;
}
@Override
public GeneralCardResult getResult() {
List<MLText.Block> blocks = text.getBlocks();
if (blocks.isEmpty()) {
Log.i(TAG, "Result blocks is empty");
return null;
}
ArrayList<BlockItem> originItems = getOriginItems(blocks);
String valid = "";
String number = "";
boolean validFlag = false;
boolean numberFlag = false;
for (BlockItem item : originItems) {
String tempStr = item.text;
if (!validFlag) {
String result = tryGetValidDate(tempStr);
if (!result.isEmpty()) {
valid = result;
validFlag = true;
}
}
if (!numberFlag) {
String result = tryGetCardNumber(tempStr);
if (!result.isEmpty()) {
number = result;
numberFlag = true;
}
}
}
return new GeneralCardResult(valid, number);
} }
Demo 效果
看下Demo效果如何,是不是还不错!
github 源码
源码已经上传github,大家也可以在github上一起完善该功能。
github源码地址:https://github.com/HMS-MLKit/HUAWEI-HMS-MLKit-Sample
通用卡证识别demo代码路径:
MLKit-Sample\module-text\src\main\java\com\mlkit\sample\activity\GeneralCardRecognitionActivity.java
更详细的开发指南参考华为开发者联盟官网
华为开发者联盟机器学习服务开发指南:
https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-introduction-4