2 个月前

双关联编码器用于面部修复

Tsai, Yu-Ju ; Liu, Yu-Lun ; Qi, Lu ; Chan, Kelvin C. K. ; Yang, Ming-Hsuan
双关联编码器用于面部修复
摘要

从低质量(LQ)图像中恢复面部细节一直是一个具有挑战性的问题,这是由于野外各种退化导致的问题的不适定性。现有的代码本先验方法通过利用自动编码器和高质量(HQ)特征的学习代码本来缓解这种不适定性,取得了显著的质量提升。然而,现有方法通常依赖于在高质量数据上预训练的单一编码器来恢复高质量图像,忽略了低质量和高质量图像之间的域差距。因此,低质量输入的编码可能不足,导致性能次优。为了解决这一问题,我们提出了一种名为 DAEFR 的新型双分支框架。我们的方法引入了一个辅助的低质量分支,用于从低质量输入中提取关键信息。此外,我们还引入了关联训练以促进两个分支之间的有效协同作用,从而提高代码预测和输出质量。我们在合成数据集和真实世界数据集上评估了 DAEFR 的有效性,展示了其在恢复面部细节方面的优越性能。项目页面:https://liagm.github.io/DAEFR/