8 天前

“看,妈妈,没有地标!”——无监督、基于模型的密集人脸对齐

{William A. P. Smith, Tatsuro Koizumi}
“看,妈妈,没有地标!”——无监督、基于模型的密集人脸对齐
摘要

“无地标!”——基于模型的无监督密集人脸对齐在本文中,我们展示了一种仅利用3D可变形模型作为监督信号,训练图像到图像网络以预测人脸图像与3D可变形模型之间密集对应关系的方法。我们证明,通过线性最小二乘法以及我们提出的新型逆球谐函数光照模型,可直接从对应关系图中推断出几何参数(形状、姿态及相机内参)和光度参数(纹理与光照)。最小二乘残差提供了无监督的训练信号,使我们能够避免文献中常见的伪影问题,如图像收缩和保守性欠拟合。所提出的方法采用的网络规模仅为参数回归网络的1/10,显著降低了对图像对齐的敏感性,并可在推理阶段融入已知的相机标定信息或多图像约束条件。我们的方法在性能上达到与当前最先进方法相当的水平,且无需依赖以往方法所使用的任何辅助监督信号。

“看,妈妈,没有地标!”——无监督、基于模型的密集人脸对齐 | 最新论文 | HyperAI超神经