学习对称一致的深度CNN进行人脸补全

深度卷积网络（CNNs）在面部补全方面取得了显著成功，能够生成合理的面部结构。然而，这些方法在保持面部组件的全局一致性以及恢复精细的面部细节方面存在局限性。另一方面，反射对称性是人脸图像的一个显著特性，有助于人脸识别和一致性建模，但在深度面部补全中尚未得到充分研究。在这项工作中，我们利用两种对称性强制子网络构建了一个对称一致的CNN模型（即SymmFCNet），以实现有效的面部补全。对于仅在一个半脸上缺失像素的情况，我们开发了一个光照加权变形子网络，用于指导另一个半脸的变形和光照重新加权。而对于两个半脸上均缺失像素的情况，我们提出了一种生成重建子网络，并结合感知对称损失来强制恢复结构的对称一致性。SymmFCNet通过将生成重建子网络堆叠在光照加权变形子网络之上构建而成，并可以从未对齐的人脸图像训练集中端到端地学习。实验结果表明，SymmFCNet能够在合成遮挡和真实遮挡的图像上生成高质量的结果，并且其性能优于现有最先进的方法。