
摘要
“无地标!”——基于模型的无监督密集人脸对齐在本文中,我们展示了一种仅利用3D可变形模型作为监督信号,训练图像到图像网络以预测人脸图像与3D可变形模型之间密集对应关系的方法。我们证明,通过线性最小二乘法以及我们提出的新型逆球谐函数光照模型,可直接从对应关系图中推断出几何参数(形状、姿态及相机内参)和光度参数(纹理与光照)。最小二乘残差提供了无监督的训练信号,使我们能够避免文献中常见的伪影问题,如图像收缩和保守性欠拟合。所提出的方法采用的网络规模仅为参数回归网络的1/10,显著降低了对图像对齐的敏感性,并可在推理阶段融入已知的相机标定信息或多图像约束条件。我们的方法在性能上达到与当前最先进方法相当的水平,且无需依赖以往方法所使用的任何辅助监督信号。