摘要
基于深度学习的图像修复方法通常难以忠实地保留原始图像的结构。在本研究中，我们提出了一种新颖的残差条件最优传输（Residual-Conditioned Optimal Transport, RCOT）方法，该方法将图像修复建模为最优传输（Optimal Transport, OT）问题，适用于无配对和配对设置，并引入传输残差作为独特的退化特定线索，用于传输成本和传输映射的计算。具体而言，我们首先通过将退化特定信息融入传输成本中，形式化了一个傅里叶残差引导的OT目标。进一步设计了两阶段RCOT映射作为传输映射，该映射包括一个基础模型和一个精炼过程。在第一阶段，基础模型计算出传输残差；然后在第二阶段，将该残差编码为退化特定嵌入以调节修复过程。通过对偶性，RCOT问题被转化为一个极小极大优化问题，可以通过对抗训练神经网络来求解。广泛的实验表明，在多个图像修复任务中，RCOT在失真度量和感知质量方面均表现出竞争力，并且相比现有最先进方法能够更忠实地恢复图像结构。