姓名：张钰  学号：21011210154  学院：通信工程学院

【嵌牛导读】Improving the Efficiency and Robustness of Deepfakes Detection through
Precise Geometric Features论文阅读笔记

【嵌牛鼻子】通过精确的几何特征提高Deepfakes检测的效率和稳健性

【嵌牛提问】如何实现伪造检测，有何创新点

【嵌牛正文】
转自：https://blog.csdn.net/qq_43687860/article/details/124848020

论文信息

• 题目：Improving the Efficiency and Robustness of Deepfakes Detection through
  Precise Geometric Features

• 作者团队：

• 会议：CVPR-2021

• 论文链接：https://arxiv.org/abs/2104.04480

• 代码：https://github.com/frederickszk/LRNet

背景与创新

• 背景：Deepfakes 是恶意技术的一个分支，它将视频中的目标人脸移植到原始人脸上，从而导致严重的问题，如侵犯版权、信息失真甚至公众恐慌 。先前对Deepfakes 视频检测的努力主要集中在外观特征上，这些特征具有被复杂操作绕过的风险，也导致了高模型复杂度和对噪声的敏感性。如何挖掘被操纵视频的时间特征并加以利用仍是一个未解决的问题。

• 创新：

  • 作者提出了一个有效和健壮的框架LRNet，通过对精确的几何特征进行时间建模来检测Deepfakes视频。
  • 作者引入了一种新的标志校准模块以提高几何特征的精度和时间建模的有效性。

  • 作者构造了一个双流递归神经网络(RNN)来充分利用时间特征。与以前的方法相比，作者提出的方法重量更轻量，更容易训练，并且在检测高度压缩或噪声污染的视频中表现出鲁棒性。

    
    
    

    原始和Deepfakes视频序列的动作单元强度分析，AU表示构成面部表情的个别面部肌肉的运动，作者选择两个最激烈的动作单元，眼轮匝肌内圈收紧和推动下唇向上。可以看到，虽然假序列很真实无法从外观上区分，但仍然可以在一些微妙的表情上分辨出它们的差异。

网络结构

作者提出的LRNet由四个部分组成：人脸预处理模块、校准模块、特征嵌入过程和RNN分类过程。它通过检测异常的面部运动模式和时间不连续性来暴露被操纵的面部。并且整个框架只需要训练RNNs部分。

要检测的视频被分成帧，并与精心设计的校准模块一起通过预处理过程，以获得更加精确的面部标志序列，随后嵌入过程将标志点嵌入到两种类型的特征向量中，并使用双流RNN来挖掘时间信息并判断其真实性。

1. 人脸预处理：该模块从人脸图像中提取几何信息，包括人脸检测，人脸标志点检测和标志点对齐。首先，对视频的每一帧进行人脸检测，我们保留人脸的感兴趣区域(ROI)。在裁剪出面部图像后，我们在图像上检测到 68 个面部标志，它们勾勒出面部的标志性轮廓。最后，我们通过仿射变换将标志点对齐到预设位置。

2. 面部点追踪与标志校准：

   
   

Accuracy与Precision的比较，红点（上边）准确A但不精确P，它们抖动很大，即使它们是附着在轮廓上。绿点（下边）不太准确P但很精确A，可以更好地描述动态特性。Accuracy代表低偏差，Precision代表低方差，Precision更重要。

第一步通过LK操作来跟踪标志点，也是一个前-后向检查以消除不精确的预测；第二步使用Kalman fifilter（卡尔曼）滤波器将有效预测与其相应的检测结果合并去噪，获得更高精度的标定标志。

我们对前一帧执行前向LK操作（绿色的箭头和点），对后一帧回到前一帧的预测点执行后向LK操作（蓝色箭头和点），在其原始点和后向LK点之间具有较大差异的预测点将被丢弃（虚线箭头）。

• 金字塔LK运算：它用来计算光流，即帧之间几个特征点的移动。

  考虑到LK运算对每块的大小很敏感，我们引入了金字塔LK运算，首先对图像进行若干次下采样（通常将其尺寸减半）以构建其金字塔表示，并对其中相同patch大小的不同大小的图像执行简单的LK操作。

• 标记校准

  LK操作会引入噪声，这干扰了标记的稳定性，所以设计了卡尔曼滤波器来整合来自检测和预测的信息。校准模块依赖于帧1的标志来校准帧2的标志。

3. 特征嵌入与RNN分类
   将上述步骤中提取的校准的标志序列嵌入到两类特征向量序列中，然后输入到双流RNN中进行虚假视频分类。通过嵌入我们得到的两个特征向量序列A和B，此后一个RNN g1在A上模拟面部形状运动模式，而g2模型标志不同的模式，或可视为速度模式，用于捕捉时间的不连续性。全连接层被附加到每个RNN的输出，用于预测，并且两个流被平均作为最终预测，我们把这个预测操作归纳为一个函数f(. , .),因此最终预测，即视频剪辑的真实或者虚假的可能性，被记为：
   为了执行视频级检测，每个视频样本被分割成具有固定长度的片段，为了预测视频，对片段的预测标签进行聚合

实验

• 数据集：
  • UADFV：49个原始视频和49个篡改视频。
  • FF++：1000个视频以及被操纵的版本，原始，轻度压缩，重度压缩
  • Celeb-DF：5639个假视频和540个真视频。
  • DeeperForensics-1.0：1000个真实和对应类似FF++的假视频。
• 实验：
  • 在不同数据集比较上比较，LRNet大小相对轻量并且不需要数据扩充，且在FF++上表现最好。

• 遇到视频压缩时不同方法在不同数据集的表现。

• 对视频噪声的鲁棒性，作者提出的方法在面对噪声时性能下降最少。

• Y表示使用作者提出的校准模块检测landmarks，N表示不检测。

• 对作者提出的模块进行消融实验的结果。