预训练是图像到图像转换所需的一切

我们提出利用预训练来提升通用图像到图像的转换效果。以往的图像到图像转换方法通常需要专门的架构设计，并且从零开始训练单独的转换模型，这在生成复杂场景时尤为困难，尤其是在配对训练数据不足的情况下。本文中，我们将每个图像到图像转换问题视为下游任务，并引入了一个简单而通用的框架，该框架可以将预训练的扩散模型适应于各种类型的图像到图像转换。此外，我们还提出了对抗训练以增强扩散模型中的纹理合成能力，并结合归一化指导采样来提高生成质量。我们在ADE20K、COCO-Stuff和DIODE等具有挑战性的基准数据集上进行了广泛的实证比较，结果表明所提出的基于预训练的图像到图像转换（PITI）能够生成前所未有的真实且忠实的图像。