2 个月前

自适应盲全图像恢复

David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral
自适应盲全图像恢复
摘要

盲全合一图像恢复模型旨在从受未知失真影响的输入中恢复高质量图像。然而,这些模型在训练阶段需要定义所有可能的退化类型,而在面对未见过的退化时表现出有限的泛化能力,这限制了它们在复杂情况下的实际应用。本文提出了一种简单但有效的自适应盲全合一恢复(ABAIR)模型,该模型能够处理多种退化类型,对未见过的退化具有良好的泛化能力,并且可以通过训练一小部分参数高效地纳入新的退化类型。首先,我们在一个包含多种合成退化的大型自然图像数据集上训练基线模型,并添加了一个分割头以估计每个像素的退化类型,从而构建了一个能够广泛泛化到各种退化的强大骨干网络。其次,我们通过独立的低秩适配器将基线模型适应于不同的图像恢复任务。最后,我们通过一个灵活且轻量级的退化估计器学习如何自适应地组合适配器以应对多样的图像。我们的模型不仅在处理特定失真方面表现出色,而且在适应复杂任务方面也具有很高的灵活性。它不仅在五任务和三任务图像恢复设置中大幅超越了现有方法,还在面对未见过的退化和复合失真时展示了更好的泛化能力。