LTP-ML : Micro-Expression Detect
论文题目:LTP-ML : Micro-Expression Detection by Recognition of Local temporal Pattern of Facial Movements
本文提出了一种新颖的检测方法:通过识别面部运动的局部和时间模式(LTP)。
Overview1. 预处理阶段(pre-processing)
面部特征点检测及提取感兴趣区域。预处理过程中,检测出人脸49个关键点,并取影响人脸微表情的几个关键,进行区域提取,具体步骤如下:
image.png当把49个关键点检测出来后,如上图所示还需要划定相应区域(矩形区域),严格来说正方形区域边长a是由关键点23和26之间的距离L计算得来。
image.png选取的关键点一共12个,分别是眼睫毛部分:1,4,5,6,7,10; 鼻子部分:11,14;嘴部分:32,35,38,41
image.png2. 特征提取(feature extraction)
image.pnga图展示的是某一张ROI的时间序列过程。
PCA(Principal Component Analysis) 是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特征分量。PCA 的数学推导可以从最大可分型和最近重构性两方面进行,前者的优化条件为划分后方差最大,后者的优化条件为点到划分平面距离最小。
性质:
缓解维度灾难:PCA 算法通过舍去一部分信息之后能使得样本的采样密度增大(因为维数降低了),这是缓解维度灾难的重要手段;
降噪:当数据受到噪声影响时,最小特征值对应的特征向量往往与噪声有关,将它们舍弃能在一定程度上起到降噪的效果;
过拟合:PCA 保留了主要信息,但这个主要信息只是针对训练集的,而且这个主要信息未必是重要信息。有可能舍弃了一些看似无用的信息,但是这些看似无用的信息恰好是重要信息,只是在训练集上没有很大的表现,所以 PCA 也可能加剧了过拟合;
特征独立:PCA 不仅将数据压缩到低维,它也使得降维之后的数据各特征相互独立;
其维度计算公式如下,在上图b中可以知道当two components其PCA energy最好。
image.png有一张表格如下图,在这张表格中体现了每一帧图片与其后面帧图片的特征差异,此处论文中特征差异方法是采用的是欧氏距离,所得到的distances越大,即表示其差异性越大,其该区域在该时间段的动作范围变化越大。
image.png欧氏距离是最易于理解的一种距离计算方法,源自欧氏空间中两点间的距离公式。
(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离:
image(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离:
image(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离:
image也可以用表示成向量运算的形式:
image
由于在每一个视频中特征动作范围不统一,因此需要标准化,每一张表的每一行中选取最大的distance,操作如下:
image.png3. 微表情检测(ME detection)
支持向量机(SVM)进行分类
image.png部分未理解有待更新......