[TOC]

---

Your Face Your Heart:Secure Mobile Face Authentication with Photoplethysmograms

题目：采用光电血容体积描记实现的安全的脸部认证

作者：Yimin Chen, Jingchao Sun, Xiaocong Jin, Tao Li, Rui Zhang, and Yanchao Zhang

出处：IEEE INFOCOM 2017 - IEEE Conference on Computer Communications

方向：网络安全

主题：图像认证

参考文献清单如下

• photoplethysmogram, https://en.wikipedia.org/wiki/Photoplethysmogram
• 光电容积脉搏波（Photoplethysmography，PPG），Photoplethysmography Signal Acquisition Based on Finger Video。http://d.wanfangdata.com.cn/Periodical/ylsbxx201611009

---

内容大纲

什么问题

面部认证作为一种常用的移动设备的访问认证方式，很容易受到伪造照片攻击（PFA）和伪造视频攻击（VFA）。

为什么研究该问题

目前已有的针对PFA和VFA的防护手段主要是需要合法用户认证时同时捕获一个能证明该照片或视频是实时捕获的在线指示器。不够灵活的同时还是存在被伪造攻击的可能性。

本文方法

提出一种称为FaceHeart的方法，同时使用前置摄像头拍摄面部和后置摄像头拍摄指端，然后从两个图片或视频中提取血容体积做对比，以认证用户访问。

为什么这么做

因为血容体积与人的实时心脏活动密切相关，不可能伪造或受到特定控制，利用FaceHeart能有效抵抗PFA和VFA。

实验结果

在Samsung Glalaxy S5上的实验证明了FaceHeart具有很高的效果和效率。两个方面的实验，FaceHeart的性能测试，FaceHeart的健壮性测试。

对我的启发

xxx

---

Introduction

1.背景

• 移动设备丢失率很高
• malware infection rate 呈上升态势

故出现了访问认证的需求

2.认证的用途

• 解锁设备
• 金融或机密应用使用权限（如支付，密码管理APPs）

3.认证方式

• 传统的有PIN
• 新型的，根据行为学、生物学、统计学融合的认证技术，如根据输入习惯、指纹等

4.本文目标

提高面部认证的安全可靠性。面部认证通过从数字图像或视频帧中提取用户的面部特征进行验证，由于人的面部特征的独特性，不易伪造，所以面部认证方式很流行。

问题：但是很容易通过网络或偷拍等途径获取个人图像或视频，发起PFA、VFA攻击，通过认证系统。

5.已有的针对PFA和VFA的方法

• 传统的非COTS方法（商用现成品或技术，即无需附加额外技术或部件）。1）liveness detection，活体检测，有效，但对VFA效果不好。2）同时针对VFA和PFA的方法，如红外摄像机检测thermogram（温谱图），texture analysis，纹理分析检测打印的照片。

  这些方式计算复杂度高，需要附加额外设备，如传感器，摄像头之类的。

• COTS方法。不增加设备，直接用现有的内部器件——accelerometer，加速器。通过人物微小移动，检测加速器记录和图像、视频的表现值是否一致来检测。

  缺点：可能收到场合的限制，入侵者可以模拟实现伪装。

6.本文方案：FaceHeart，一种活体检测方案

使用前后摄像头分别拍摄面部和指尖视频，提取光电容积脉搏波，对比其含有的生物信息，若一致，则认为是可靠的，该认证请求来自于活体。

利用了生物信息：光电容积脉搏波，与心脏活动密切相关，包含很多生物数据，无法伪造和控制。

---

Background of Camera-based PPG

光电容积脉搏波描记法（Photoplethysmography，PPG），是一种用来检测组织微血管中的血容量变化的光学测量技术 。其原理是用一定波长的光照射皮肤表面，通过透射或反射方式传送到光电接收器，由于血液容积在心脏作用下呈搏动性变化，使得光电接收器接收到的光强度也随之
呈脉动性变化，从而得到血液容积脉搏的变化信息 。光电容积脉搏波包含着血液流动、心脏跳动等重要信息，并可以进一步得到人体血氧、血压、血管微循环、心率、呼吸率等生理参数，对人体健康的监护具有重大的意义。

---

FaceHeart

整个FaceHeart分为4个模块

• signal processing module
• feature extraction module
• classifier training module
• liveness detection module

工作流程为：

• cameras record face and fingertip videos simultaneously。
• extract and compare two photothysmograms（liveness detection）
• face frames sent to face conventional authentication module，检查是否为合法用户。
• liveness detection and face authentication同时通过认为认证成功。

1.signal processing module

信号处理模块分为4个子模块。

• Face Detection and Tracking。面部检测和跟踪。

  method：1）Viola-Jones detection algorithm，检测第一帧中的人脸。2）KLT目标跟踪算法追踪后续帧中的人脸。（该算法是跟踪算法，要求目标不能大幅运动，所以本文要求认证人尽可能保持still stable）

  output：coordinates of face in each frame

• ROI Selection：对比三种ROI，选用了第三种。目标区域选取。

  ROS的两个问题直接影响到photoplethysmogram信息，1）where ROI is。2）ROI‘s size。

  选用了论文例举的第三种ROI方式。1）复杂度低，计算效率高。2）性能满足需求，在该使用场合下与其他两种方式相近。3）可能的改进，多种ROI方式加权组合，但是需要进一步考虑降低算法开销（可做进一步研究）。

• Photoplethysmogram extraction

  average all pixel values in ROI，采用目标区域内所有像素的平均值。

  事实上，三个颜色通道都含有该生物信息，其中green通道最强，根据相关研究证明，本文选用绿色通道值作为计算值。

• Filter

  采用两种过滤算法，分两步过滤。

  • Normalized Least Mean Square，NLMS，最小均方误差滤波器。alleviate the illumination interference。视频目标微小的移动或相机的抖动都会造成环境的光照强度变化，从而产生测量干扰。
  • Bandpass FIR filter，减少out-of-band noise interference。带通滤波器，FIR，Finite Impulse Response，有限长单位冲激响应滤波器，又称为非递归型滤波器。

  output：final photoplethysmogram

fingertip video 不用track，不用ROI，没有illumination interference，相应的不用NLMS滤波。简化后三步动作即可。

2.Feature extraction

in：filtered photoplethysmogram，step1中最终得到的过滤过的生物信号

out：a feature vector，从信号中提取的一个特征向量

计算的特征有：Heart rate difference，Maximum cross correlation（互相关），mean，max，min，standard deviation（标准差）

3.classifier training

• training set：feature vectors，v={2中的6个特征值}，样本来自两组，一组为合格的活体检测，一组为不匹配的face与fingertip
• 通过三种ML算法进行训练，这里用了，BN、LR、Multilayer Perception（MLP，即多层感知器，是一种前向结构的人工神经网络）三种算法。
• out：训练得到一个classifier

安装FaceHeart的设备都可以加载使用这个classifier，并持续使用改善。

4.liveness detection

in：a new pair of face and fingertip video

out：comput corresponding feature vector and apply the trained classifier, get class label。

---

Performance Evaluation

攻击者模型：拥有受攻击者的手机、包含其清晰正脸的视频。但没有fingertip video，因为这实际中也很难被攻击中获取，故攻击者只能用其他人的fingertip video作为替代，采用VFA进行入侵。

两类实验

• 压力测试，测试性能，相同环境下分类准确性
• 健壮性测试，测试不同条件下分类准确性。

1.性能标准

• ROC曲线。
• Acceptance Rate，正确分类的合法用户占所有合法用户的比例，表现对合法用户的划分程度。
• Detection Rate，正确划分的攻击者占所有攻击者的比例，表现系统有效防御VFA的能力。
• Computation time，计算时间。

2.实验结果

性能测试结果

• video length影响：2到4秒以内，心率信息准确度随视频长度增加而增加，超过4秒后无变化。三种分类算法得到的分类结果也同样，2到4秒内错误率减少，之后不变。

  实验证明，认证的视频可以足够短，默认长度设为为4秒

• ROI影响：证明了三种ROI方式，本文选用的ROI方式具有最小的错误率（总体都相近，但本文选用的方式同时运算最快）。

• ROC图统计性能，同时满足很高的TPR和很低的FPR。

• 不同用户状态下的ERR测试，结果显示不同的心脏活动状态下，错误率都很低。三种分类算法都是6%左右的错误率。

健壮性测试结果

• Head pose，头的姿势对接受率的影响，证明认证者录像时小范围（小于10度）的上下或左右转动头，并不会降低接受率。
• Illumination。证明FaceHeart受环境光照影响，低光照（暗环境）降低接受率。
• Location，实验环境影响，办公室、公寓、图书馆和户外测试证明环境不影响FaceHeart的接受率。

计算时间

时间消耗的不同主要是选用不同的ROI算法导致的，R1和R2的ROI方式的时间远大于R3的方式，故选用R3方式（18倍差距）。（给定了视频长度为4秒情况下做测试）

---

Discussion

讨论局限性及可能的改进FaceHeart的方法

1.Camera-based PPG

• 要求用户不能移动以及光照环境对PPG结果有影响。
• 很少情况下，面部表情、面部阻塞、肤色会影响PPG结果

2.认证时间

目前的认证时间包括4秒的视频长度+0.96的ROI处理（R3方式），大约4.9秒算是优秀的。可以缩短视频长度，但面临错误率增高的问题。一种缩短视频的方式是换一种特征，比如心率变化程度。有待进一步研究。