二、开源3D人脸重建项目整理
本文主要总结了经典3D人脸重建开源算法，如有遗漏请大家提醒补充。
一、单图三维人脸重建开源算法
单图三维人脸重建代码，指根据一张二维人脸图像，恢复与之对应的三维人脸（包括形状和纹理），一些算法提供了训练代码及网络框架，一些算法仅提供了测试接口。
目前单图三维人脸重建主要的发展方向有两种，一种是基于多任务的三维人脸重建，在三维人脸重建过程的同时完成其他与人脸有关的任务，例如，人脸识别，人脸对齐，特征点定位等，以同时提高多任务的效果。另一种，期望重建出精细化的三维人脸，包括对表情和细节的恢复。
1.PRnet：《Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network》ECCV2018
一篇针对三维人脸重建与对齐的论文，文章通过恢复稠密的3D人脸形状来定位2D人脸图片上的特征点，同时完成估计人脸姿态，人脸交换等应用。文中提到用uv-map来表示3D形状，实现了从端到端的网络结构。
2.extreme_3d_faces：《Extreme 3D Face Reconstruction: Seeing Through Occlusions》CVPR2018
文章方法先恢复一个基础形状，表情，六维视角自由度，然后估计一个凹凸贴图，用来捕捉人脸皱纹和非参的中级特征，再补全人脸被遮挡区域。
3.pix2vertex：《Unrestricted Facial Geometry Reconstruction Using Image-to-Image Translation》ICCV 2017
文章通过一个Image-to-Image转换网络，从一张二维图像中恢复一张普通深度图像与一张稠密对应图。根据文中提到的迭代弹性形变算法（实际是一种非刚性三维人脸对齐方法）将2.5D图像转化3D人脸网格。
4.CNN3DMM：《Regressing Robust and Discriminative 3D Morphable Models With a Very Deep Neural Network》CVPR2017
本文介绍的是上2文中恢复基础形状的方法，利用ResNet101深层神经网络框架，从in-the-wild二维图像恢复三维人脸形状，并用于识别，在文中针对训练数据量不足提出数据扩充方法，利用一篇多图三维人脸重建文章方法生成足量的带标签的三维人脸，训练过程仍采用回归3DMM参数的方法。
5.E2FAR：《End-To-End 3D Face Reconstruction With Deep Neural Networks》CVPR2017
文章采用端到端的方法估计最优3DMM参数，输入是二维图像及其感兴趣区域，采用Dlib进行特征点检测，将恢复人脸身份形状和表情形状作分为人脸重建的两个子任务，输出包含身份参数向量和表情参数向量。
6.VRN：《Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression》ICCV2017
采用体素方法进行三维人脸重建，对人脸而言重建精度不高，但是一种很好的三维人体重建方法。
7.3DMMasSTN：《3D Morphable Models as Spatial Transformer Networks》ICCVW2017
3DMM方法作为空间转化网络的应用，利用3DMM恢复三维人脸形状从而得到姿态归一化和补全自遮挡的人脸图片。
7.3DDFA：《Face Alignment in Full Pose Range: A 3D Total Solution》CVPR2016
通过恢复稠密的三维形状，以解决大姿态人脸2D特征点检测的问题。文中提到，这是第一篇利用CNN来解决3D人脸对齐问题的文章，网络通过输入PNCC图和原始二维图，输出234维参数（包括6维姿态参数[缩放参数,pitch,yaw,roll偏转角,沿xy轴的平移量]，199维3DMM形状参数，29维3DMM表情参数），利用得到的系数更新原始的PNCC图，再与原图一起进行迭代。
8.EOSand4Dface：《A Multiresolution 3D Morphable Face Model and Fitting Framework》Visapp 2016 and 《Real-Time 3D Face Fitting and Texture Fusion on In-the-Wild Videos》 IEEE Signal Processing Letters24.4 (2017)
这篇文章的方法主要致力于将3DMM应用到实际开发中，作者提出一个基于C++的拟合框架，可支持Surrey Face Model (SFM), 4D Face Model (4DFM), and the Basel Face Model (BFM) 2009 and 2017数据库，目前这个拟合框架仍在更新。
二、多图三维人脸重建开源算法
大部分基于多图的三维人脸的工作，希望从同一个人不同时间和环境拍摄的图像集合中恢复一个标准的具有身份信息的人脸形状（不带姿态，表情，纹理等），
1.AFAR：《Adaptive 3D Face Reconstruction from Unconstrained Photo Collections》CVPR2016
这篇文章在首先在CVPR2015提出，在CVPR2016对算法细节进行了改进，先基于从粗到细的方法，利用二维图片的特征点拟合3DMM系数，再根据PS方法对精细的细节进行恢复，最后得到三维人脸。
