2 个月前

使用多代码GAN先验的图像处理

Gu, Jinjin ; Shen, Yujun ; Zhou, Bolei
使用多代码GAN先验的图像处理
摘要

尽管生成对抗网络(GANs)在图像合成方面取得了成功,但将其训练好的模型应用于实际图像处理仍然具有挑战性。以往的方法通常通过反向传播或学习额外的编码器将目标图像逆向映射回潜在空间。然而,这两种方法的重建效果远非理想。在这项工作中,我们提出了一种新颖的方法,称为mGANprior,将训练良好的GAN作为有效先验应用于多种图像处理任务中。具体而言,我们在生成器的某个中间层使用多个潜在代码生成多个特征图,然后通过自适应通道重要性组合这些特征图以恢复输入图像。这种对潜在空间的过度参数化显著提高了图像重建质量,超越了现有的竞争对手。高保真图像重建使得训练好的GAN模型可以作为先验应用于许多实际应用中,如图像着色、超分辨率、图像修复和语义操作。我们进一步分析了由GAN模型逐层学习到的表示特性,并揭示了每一层能够表示的知识。关键词:生成对抗网络(GANs)、图像合成、图像处理、潜在空间、特征图、自适应通道重要性、超参数化、高保真图像重建、图像着色、超分辨率、图像修复、语义操作

使用多代码GAN先验的图像处理 | 最新论文 | HyperAI超神经