基于低分辨率条件的图像到图像翻译

大多数图像到图像的转换方法致力于学习跨域之间的映射关系，其假设是图像在内容（例如姿态）上具有一致性，但各自包含特定于域的属性，即“风格”。在以目标图像为条件的情况下，这类方法旨在提取目标图像的风格，并将其与源图像的内容相结合。在本研究中，我们考虑目标图像分辨率极低的情形。具体而言，我们的方法旨在将高分辨率（HR）源图像中的精细细节迁移至目标图像的粗略、低分辨率（LR）表示中。因此，我们生成的高分辨率图像能够同时融合来自高分辨率和低分辨率输入的特征信息。这与以往专注于将给定图像的风格迁移到目标内容的方法不同，我们的翻译策略能够同时模仿目标的风格，并融合低分辨率目标图像的结构信息。该方法的核心在于训练生成模型，使其输出的高分辨率目标图像满足两个条件：1）保留与源图像相关的显著特征；2）在下采样后能与低分辨率目标图像准确匹配。我们在CelebA-HQ和AFHQ数据集上验证了所提方法的有效性，结果表明在视觉质量、样本多样性和覆盖范围方面均有显著提升。定性和定量实验结果均显示，在处理域内图像转换任务时，与当前最先进的方法（如Stargan-v2）相比，我们的方法能够生成更为真实的图像样本。