2 个月前

考虑降解的残差条件最优传输用于统一图像复原

Tang, Xiaole ; Gu, Xiang ; He, Xiaoyi ; Hu, Xin ; Sun, Jian
考虑降解的残差条件最优传输用于统一图像复原
摘要

全功能图像修复作为一种实用且有前景的低级视觉任务,已逐渐在现实应用中崭露头角。在此背景下,关键问题在于如何同时处理不同类型的退化图像。本文提出了一种退化感知残差条件最优传输(DA-RCOT)方法,该方法将全功能图像修复建模为一个最优传输(OT)问题,适用于无配对和配对设置,并引入传输残差作为特定退化的线索,用于传输成本和传输映射。具体而言,我们通过利用傅里叶残差在传输成本中的特定退化模式,形式化了以残差为导向的OT目标来实现图像修复。更为重要的是,我们将修复的传输映射设计为两阶段DA-RCOT映射,在第一阶段计算传输残差,然后将其编码为多尺度残差嵌入,以调节第二阶段的修复过程。这一调节过程将内在的退化知识(如退化类型和程度)以及多尺度残差嵌入中的结构信息注入到OT映射中,从而能够动态调整其行为以适应全功能修复需求。大量实验表明,在五种不同的退化条件下,DA-RCOT相比现有最先进方法表现出优异的性能,不仅在失真度量方面表现突出,在感知质量和图像结构保留方面也具有显著优势。尤为值得一提的是,即使面对多种退化情况,DA-RCOT仍展现出卓越的适应性和对退化程度及退化数量的高度鲁棒性。