Command Palette
Search for a command to run...
Aleksandr Razin Danil Kazantsev Ilya Makarov

摘要
扩散模型在超出其训练分辨率时面临显著挑战:直接进行高分辨率采样不仅速度缓慢且计算成本高昂,而事后图像超分辨率(Image Super-Resolution, ISR)方法则因在解码后处理,会引入伪影并增加额外延迟。为此,我们提出潜空间上采样适配器(Latent Upscaler Adapter, LUA),这是一个轻量级模块,可在生成器的潜变量空间中、于最终VAE解码前直接完成超分辨率操作。LUA可作为即插即用组件无缝集成,无需修改基础模型或引入额外的扩散阶段,仅通过一次前向传播即可在潜空间实现高分辨率图像生成。LUA采用共享的Swin风格主干网络,并搭配针对不同缩放因子(2x和4x)设计的像素洗牌(pixel-shuffle)头,兼容现有的图像空间超分辨率基线方法。在保持相近感知质量的前提下,其解码与上采样时间相比传统像素空间SR方法(使用相同SwinIR架构)降低近3倍——例如,从512像素生成1024像素图像时,LUA仅增加0.42秒延迟,而传统方法需1.87秒。此外,LUA在不同VAE的潜空间中展现出强大的泛化能力,无需为每个新解码器从头重新训练,即可实现快速部署。大量实验表明,LUA在生成图像的保真度上可与原生高分辨率生成方法相媲美,同时为现代扩散模型流水线提供了一条高效、可扩展且高保真的图像生成新路径。