基于反演的扩散模型风格迁移

绘画中的艺术风格是一种表达手段，不仅涵盖绘画材料、色彩与笔触等视觉元素，还包括语义内容、物体形态等高层次特征。以往基于任意样本引导的艺术图像生成方法往往难以有效控制形状变化或准确传达特定元素。尽管预训练的文本到图像生成扩散概率模型已取得显著的图像质量提升，但通常需要大量详细的文本描述才能准确刻画某幅画作的属性。我们认为，一幅艺术作品的独特性恰恰在于其无法通过常规语言得到充分表达。因此，我们的核心思想是：仅从单幅画作中直接学习艺术风格，并在无需复杂文本描述的情况下引导图像合成。具体而言，我们将艺术风格视为一幅画作的可学习文本描述。为此，我们提出了一种基于反演的风格迁移方法（InST），该方法能够高效且准确地提取图像的关键信息，从而实现对绘画艺术风格的有效捕捉与迁移。我们在多位艺术家、多种风格的大量画作上验证了本方法在生成质量与效率方面的优越性。相关代码与模型已开源，地址为：https://github.com/zyxElsa/InST。