Tobias Vontobel Seyedmorteza Sadat Farnood Salehi Romann M. Weber

摘要

扩散模型已成为图像合成领域的领先方法，展示了卓越的逼真度和多样性。然而，高分辨率下的扩散模型训练仍然计算成本高昂，现有的零样本生成技术在超出训练分辨率的图像合成中往往会产生诸如物体重复和空间不连贯等伪影。本文介绍了一种名为HiWave的无训练、零样本方法，该方法显著提高了使用预训练扩散模型进行超高分辨率图像合成时的视觉保真度和结构连贯性。我们的方法采用了两阶段流水线：首先从预训练模型生成基础图像，然后通过基于补丁的DDIM逆向步骤和一种新颖的小波域细节增强模块来进一步处理。具体而言，我们首先利用逆向方法从基础图像中推导出保留全局连贯性的初始噪声向量。随后，在采样过程中，我们的小波域细节增强器保留了基础图像中的低频成分以确保结构一致性，同时有选择地引导高频成分以丰富细部和纹理。广泛的评估表明，使用Stable Diffusion XL时，HiWave有效减轻了先前方法中常见的视觉伪影，实现了优越的感知质量。用户研究进一步证实了HiWave的表现，在超过80%的对比测试中被用户认为优于当前最先进的替代方案，突显了其在无需重新训练或架构修改的情况下实现高质量、超高分辨率图像合成的有效性。