基于傅里叶卷积的分辨率鲁棒大掩模修复

现代图像修复系统尽管取得了显著进展，但在处理大面积缺失区域、复杂几何结构和高分辨率图像时仍面临诸多挑战。我们发现导致这一问题的主要原因之一是修复网络和损失函数中缺乏有效的感受野。为了解决这一问题，我们提出了一种新的方法——大掩模修复（LaMa）。LaMa 基于以下几点：i）一种新的修复网络架构，该架构使用具有全图感受野的快速傅里叶卷积（FFCs）；ii）高感受野感知损失；iii）大训练掩模，这解锁了前两个组件的潜力。我们的修复网络在多个数据集上提升了现有技术水平，并且即使在具有挑战性的场景中也能表现出色，例如周期性结构的补全。我们的模型对高于训练时所见分辨率的图像具有出乎意料的良好泛化能力，并且在参数和时间成本方面低于竞争基线模型。代码可在以下网址获取：https://github.com/saic-mdal/lama。