单目3D人脸重建的感知形状损失

单目3D人脸重建是一个广泛研究的课题，现有的方法通常通过快速神经网络推理或离线迭代重建人脸几何来解决这一问题。在这两种情况下，都会最小化精心设计的能量函数，通常包括光度损失、地标重投影损失等项。在本工作中，我们提出了一种新的损失函数，用于单目人脸捕捉，该函数灵感来源于人类如何根据特定图像感知3D人脸重建的质量。众所周知，阴影在人类视觉系统中提供了强烈的3D形状指示。因此，我们的新“感知”形状损失旨在仅利用阴影线索来评估3D人脸估计的质量。我们的损失函数实现为一种判别式神经网络，该网络接收输入的人脸图像和几何估计的阴影渲染图，然后预测一个评分，以感知方式评估阴影渲染图与给定图像的匹配程度。这个“评判”网络仅基于RGB图像和几何渲染图进行操作，无需对场景中的反照率或光照进行估计。此外，我们的损失函数完全在图像空间中运行，因此对网格拓扑不敏感。我们展示了如何将新的感知形状损失与传统的能量项结合用于单目3D人脸优化和深度神经网络回归，从而改进了当前最先进的结果。