基于深度多尺度组件字典的盲人脸修复

近期基于参考的面部修复方法因其在真实低质量图像中恢复高频细节的强大能力而受到了广泛关注。然而，大多数这些方法需要同一身份的高质量参考图像，这使得它们的应用场景非常有限。为了解决这一问题，本文提出了一种深度面部字典网络（简称DFDNet），用于指导退化观察的修复过程。首先，我们使用K均值算法从高质量图像中生成感知显著的面部组件（如左眼/右眼、鼻子和嘴巴）的深度字典。接下来，对于退化的输入图像，我们从相应的字典中匹配并选择最相似的组件特征，并通过提出的字典特征传输（DFT）模块将高质量细节转移到输入图像上。特别地，组件自适应实例归一化（AdaIN）被用来消除输入和字典特征之间的风格差异（例如光照），并且提出了一个置信度分数以自适应地融合字典特征到输入图像中。最后，采用多尺度字典以渐进的方式实现由粗到细的修复。实验表明，所提出的方法在定量和定性评估中均能取得合理的效果，并且更重要的是，在不需要同一身份参考的情况下，能够在真实退化图像上生成逼真且有前景的结果。源代码和模型可在以下网址获取：https://github.com/csxmli2016/DFDNet。