基于透视投影的三维人脸重建：从单目图像估计6DoF人脸姿态

在三维人脸重建领域，正交投影被广泛用于替代透视投影，以简化拟合过程。当相机与人脸之间的距离足够远时，该近似方法表现良好。然而，在人脸距离相机极近或沿相机光轴运动等场景下，由于透视投影带来的畸变，现有方法往往会出现重建不准确以及时间序列拟合不稳定的问题。本文旨在解决在透视投影条件下基于单张图像的三维人脸重建问题。为此，我们提出了一种深度神经网络——透视网络（PerspNet），该网络能够同时在标准空间中重建三维人脸形状，并学习二维像素点与三维点之间的对应关系，从而实现六自由度（6DoF）人脸姿态的估计，以准确建模透视投影效应。此外，我们构建了一个大规模的ARKitFace数据集，用于支持在透视投影场景下的三维人脸重建方法的训练与评估，该数据集包含902,724张带有真实三维人脸网格和标注6DoF姿态参数的二维人脸图像。实验结果表明，所提方法在性能上显著优于当前最先进的技术。相关代码与数据已公开，地址为：https://github.com/cbsropenproject/6dof_face。