基于遮挡感知的多视角几何一致性自监督单目3D人脸重建

近年来，基于学习的方法通过单视角图像进行模型训练，在单目三维人脸重建任务中取得了令人瞩目的成果，但这类方法仍面临人脸姿态与深度估计的病态问题（ill-posed face pose and depth ambiguity）。与以往仅施加二维特征约束的工作不同，本文提出一种自监督训练架构，通过利用多视角几何一致性，为人脸姿态和深度估计提供可靠约束。首先，我们提出一种考虑遮挡感知的多视角图像合成方法，以将多视角几何一致性有效引入自监督学习过程。随后，设计了三种新颖的多视角一致性损失函数，包括像素一致性损失、深度一致性损失以及基于人脸关键点的对极线约束损失。所提方法在表情、姿态和光照条件剧烈变化的情况下仍表现出高精度与强鲁棒性。在人脸对齐与三维人脸重建基准数据集上的大量实验表明，该方法显著优于当前最先进的技术。相关代码与模型已开源，地址为：https://github.com/jiaxiangshang/MGCNet。