16 天前
InfinityGAN:迈向无限像素图像合成
Chieh Hubert Lin, Hsin-Ying Lee, Yen-Chi Cheng, Sergey Tulyakov, Ming-Hsuan Yang

摘要
我们提出了一种名为InfinityGAN的新型框架,用于任意尺寸图像的生成。该任务面临多个关键挑战。首先,将现有模型扩展至任意大的图像尺寸在计算资源和大视场训练数据的可获得性方面均存在限制。InfinityGAN采用无缝的分块逐块训练与推理方式,在低计算资源条件下实现高效运行。其次,大尺寸图像需在局部与全局层面保持一致性,避免重复性模式,并具备高度真实感。为解决上述问题,InfinityGAN实现了全局外观、局部结构与纹理的解耦建模。基于这一架构,我们能够生成在空间尺寸和细节层次上均超越以往方法的图像。实验评估表明,InfinityGAN生成的图像在真实感方面显著优于现有基线方法,且支持可并行化的推理过程。最后,我们展示了该方法所开启的多种应用,包括空间风格融合、多模态外绘(outpainting)以及图像插值(inbetweening),所有应用均可处理任意输入与输出尺寸。完整论文请见:https://openreview.net/forum?id=ufGMqIM0a4b。