基于野外2D人脸图像辅助的单张图像3D人脸重建

从单张2D图像中进行3D人脸重建是一个具有广泛应用前景的难题。近期的方法通常旨在学习一种基于卷积神经网络（CNN）的3D人脸模型，该模型可以从2D图像回归出3D可变形模型（3DMM）的系数，以实现3D人脸重建或密集人脸对齐。然而，训练数据中缺乏带有3D注释的数据显著限制了这些方法的性能。为了解决这一问题，我们提出了一种新颖的2D辅助自监督学习（2DASL）方法，该方法可以有效地利用“野生”2D人脸图像及其带有噪声的地标信息，大幅提高3D人脸模型的学习效果。具体而言，该方法将稀疏的2D面部地标作为附加信息，并引入了四种创新的自监督方案，将2D地标和3D地标的预测视为一个自我映射过程。这四种自监督方案包括：2D地标和3D地标预测的一致性、2D地标预测的循环一致性以及基于地标预测的预测3DMM系数的自批评机制。通过使用这四种自监督方案，2DASL方法显著减轻了对传统配对2D到3D注释的需求，并且在无需任何额外3D注释的情况下生成了高质量的3D人脸模型。在多个具有挑战性的数据集上的实验表明，我们的方法在3D人脸重建和密集人脸对齐方面均大幅优于现有最先进方法。