未经同意，不得转载

人脸活体检测（Face Anti-spoofing），在人脸识别前判断当前输入的人脸是否是真人，可以有效防止欺骗攻击。

一、Spoofing方式

1. 照片：打印的彩色人脸照片；
2. 视频：录制的一段人脸视频；
3. 3D面具：3D打印人的头部模型

二、Face Anti-spoofing方法

人脸活体检测本质可以理解为真假人脸的二分类问题，基本的方法有：

1. 基于纹理特征

利用真假人脸在纹理细节上的差异，提取人脸的LBP，DoG和SURF等特征，训练一个二分类的分类器如SVM，LDA。
存在问题：
（1）对光照和相机条件比较敏感；
（2）鲁棒性较差。

2. 基于运动信息

从视频中提取人脸区域的特定运动信息判断真假人脸，利用用户的眨眼、嘴部运动，点头摇头等信息进行判断。
存在问题：
（1）需要用户配合
（2）多用于金融安全身份验证，对实时门禁系统不太适用

3. 基于深度学习

利用深度学习网络如CNN、RNN等训练判断真假人脸的二分类网络模型。
存在问题：
（1）容易过拟合，目前数据集种类有限，难以覆盖spoofing的方式；
（2）domain shift问题。实际测试场景往往非可控，测试集和训练集分布有很大差异，这时候就会出现过拟合问题，模型在测试集上效果不理想。

4. 借助辅助设备

利用近红外成像技术，选取两个波段结合可见光成像进行人脸伪装检测。
存在问题：
（1）对采集条件要求比较严格，成本高于普通可见光系统。

三、数据集

人脸活体检测数据集.png

• NUAA: http://parnec.nuaa.edu.cn/xtan/data/nuaaimposterdb.html
• http://parnec.nuaa.edu.cn/xtan/NUAAImposterDB_download.html
• Replay-Attack dataset: https://www.idiap.ch/dataset/replayattack
• CASIA Face Anti-Spoofing Database: http://www.cbsr.ia.ac.cn/english/FaceAntiSpoofDatabases.asp
• MSU Mobile Face Spoofing Database (MSU MFSD): http://biometrics.cse.msu.edu/Publications/Databases/MSUMobileFaceSpoofing/index.htm#Download_instructions

四、基于HSV + YCrCb颜色特征训练简单的CNN模型

项目地址：https://github.com/Oreobird/Face-Anti-Spoofing
基于tensorflow keras实现，网络模型比较简单，如下图所示，多输入单输出，对人脸图像转换为HSV和YCrCb颜色空间，分别输入到VGG16提取特征，将两者融合后，再加入几层全连接，最终以softmax输出真假人脸的分类概率。模型的训练与测试都封装在models.py文件的FasNet类中。

image
数据集使用了NUAA，训练数据的处理在datasets.py文件，其中DataSet是通用的读取数据类，NUAA类以DataSet提供的接口封装了对NUAA数据集的相关操作。
在main.py中提供了两种测试方式，可以通过python main.py --online=True来调用摄像头实时读取视频数据来做检测，基于dlib检测出人脸再输入到模型做推理，实现比较简单，具体实现可以看源码。