Command Palette

Search for a command to run...

10 天前

潜空间的一小步,像素空间的一大步:适用于扩散模型的快速潜空间上采样适配器

Aleksandr Razin Danil Kazantsev Ilya Makarov

潜空间的一小步,像素空间的一大步:适用于扩散模型的快速潜空间上采样适配器

摘要

扩散模型在超出其训练分辨率时面临显著挑战:直接进行高分辨率采样不仅速度缓慢且计算成本高昂,而事后图像超分辨率(Image Super-Resolution, ISR)方法则因在解码后处理,会引入伪影并增加额外延迟。为此,我们提出潜空间上采样适配器(Latent Upscaler Adapter, LUA),这是一个轻量级模块,可在生成器的潜变量空间中、于最终VAE解码前直接完成超分辨率操作。LUA可作为即插即用组件无缝集成,无需修改基础模型或引入额外的扩散阶段,仅通过一次前向传播即可在潜空间实现高分辨率图像生成。LUA采用共享的Swin风格主干网络,并搭配针对不同缩放因子(2x和4x)设计的像素洗牌(pixel-shuffle)头,兼容现有的图像空间超分辨率基线方法。在保持相近感知质量的前提下,其解码与上采样时间相比传统像素空间SR方法(使用相同SwinIR架构)降低近3倍——例如,从512像素生成1024像素图像时,LUA仅增加0.42秒延迟,而传统方法需1.87秒。此外,LUA在不同VAE的潜空间中展现出强大的泛化能力,无需为每个新解码器从头重新训练,即可实现快速部署。大量实验表明,LUA在生成图像的保真度上可与原生高分辨率生成方法相媲美,同时为现代扩散模型流水线提供了一条高效、可扩展且高保真的图像生成新路径。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
潜空间的一小步,像素空间的一大步:适用于扩散模型的快速潜空间上采样适配器 | 论文 | HyperAI超神经