基于协同调制生成对抗网络的大规模图像补全

针对图像修复任务，已涌现出众多面向特定任务的条件生成对抗网络（conditional generative adversarial networks）变体。然而，现有方法仍存在一个严重局限：当面对大范围缺失区域时，大多难以有效处理。为克服这一挑战，本文提出一种通用性新方法，通过联合调制条件风格表示与随机风格表示，实现图像条件生成与近期调制型无条件生成架构之间的有效衔接。此外，由于当前图像修复任务缺乏可靠的定量评估指标，本文进一步提出一种新的配对/非配对Inception判别得分（Paired/Unpaired Inception Discriminative Score, P-IDS/U-IDS），该指标通过在特征空间中衡量样本的线性可分性，能够稳健地评估修复图像在感知保真度方面与真实图像的接近程度。实验结果表明，所提方法在自由形状图像修复任务中，无论在图像质量还是多样性方面，均显著优于当前最先进方法，并展现出良好的可迁移性，可轻松拓展至图像到图像的翻译任务。代码已开源，地址为：https://github.com/zsyzzsoft/co-mod-gan。