7 天前

StyleFlow 用于内容固定的图像到图像转换

Weichen Fan, Jinghuan Chen, Jiabin Ma, Jun Hou, Shuai Yi
StyleFlow 用于内容固定的图像到图像转换
摘要

图像到图像(Image-to-Image, I2I)翻译是计算机视觉领域的一项具有挑战性任务。我们将该问题划分为三类任务:强约束翻译、常规约束翻译以及弱约束翻译。其中,“约束”指的是原始图像中内容或语义信息的保留程度。尽管现有方法在弱约束任务中已取得良好性能,但在强约束和常规约束任务中(如真实感图像生成、风格迁移、着色等)仍难以充分保留原始内容信息。为实现强约束与常规约束任务中的内容保持性迁移,我们提出了一种新型I2I翻译模型——StyleFlow。该模型结合了归一化流(normalizing flows)结构与一种新颖的风格感知归一化(Style-Aware Normalization, SAN)模块。得益于其可逆网络结构,StyleFlow在前向传播中将输入图像映射至深层特征空间;在反向传播中,通过SAN模块实现固定内容的特征变换,随后将特征重新映射回图像空间。该模型支持图像引导的翻译与多模态生成两种模式。我们在多个I2I翻译基准任务上对所提模型进行了评估,结果表明,与现有方法相比,StyleFlow在强约束和常规约束任务中均展现出显著优势,能够更有效地保持输入图像的内容与语义信息。

StyleFlow 用于内容固定的图像到图像转换 | 最新论文 | HyperAI超神经