通过弱监督异常值分割实现鲁棒的基于模型的人脸重建

在本工作中，我们致力于通过避免将人脸模型拟合到异常区域（即无法被模型良好表达的区域，如遮挡物或化妆区域）来提升基于模型的人脸重建性能。定位异常区域的核心挑战在于，这些区域具有高度的可变性，且难以进行人工标注。为克服这一难题，我们提出了一种联合的人脸自编码器与异常区域分割方法（FOCUS）。具体而言，我们利用异常区域无法被人脸模型良好拟合的特性，当获得高质量的人脸模型拟合结果时，便能够有效定位这些异常区域。然而，模型拟合与异常分割之间存在相互依赖关系，需联合推断。为此，我们采用一种类似期望最大化（EM）的训练策略，联合训练一个面部自编码器与一个异常分割网络，从而实现协同优化：分割网络可防止编码器对异常区域进行拟合，进而提升重建质量；而更优的三维人脸重建结果又能反向提升分割网络对异常区域的预测能力。为解决异常区域与本就难以拟合的区域（如眉毛）之间的模糊性问题，我们基于合成数据构建了一个统计先验，用于度量模型拟合中的系统性偏差。在NoW测试集上的实验表明，FOCUS在所有未使用三维标注进行训练的基线方法中，实现了当前最优的三维人脸重建性能。此外，在CelebA-HQ与AR数据库上的实验结果进一步表明，尽管分割网络在训练过程中未使用任何分割标注，仍能准确识别出遮挡物。