摘要
近年来，深度生成式图像修复方法利用注意力机制，使生成器能够显式地从已知区域借用特征块以填补缺失区域。然而，由于缺失区域与已知区域之间缺乏对应关系的监督信号，模型可能无法找到合适的参考特征，从而导致结果中出现伪影。此外，此类方法在推理阶段需计算整个特征图上的成对相似性，带来显著的计算开销。为解决上述问题，本文提出一种新方法：通过联合训练一个辅助的上下文重建任务，指导无需注意力机制的生成器学习特征块借用行为。该策略促使生成结果在仅依赖周围区域进行重建时仍具有合理的视觉一致性。该辅助分支可被视为一种可学习的损失函数，即上下文重建（Contextual Reconstruction, CR）损失。在训练过程中，CR损失联合优化查询-参考特征相似性与基于参考的重建模块，与图像修复生成器共同学习。值得注意的是，该辅助分支（即CR损失）仅在训练阶段使用，推理阶段仅需部署图像修复生成器，从而保持高效性。实验结果表明，所提出的修复模型在定量指标与视觉质量方面均优于当前最先进的方法。代码已开源，地址为：https://github.com/zengxianyu/crfill。