7 天前

基于双向特征转换的引导图像到图像翻译

Badour AlBahar, Jia-Bin Huang
基于双向特征转换的引导图像到图像翻译
摘要

我们研究的是引导式图像到图像的转换问题,即在遵循外部用户提供的引导图像所设定约束的前提下,将输入图像转换为另一幅图像。此前已探索了多种利用引导图像的条件化方法,包括输入拼接、特征拼接以及对特征激活进行条件化仿射变换等。然而,这些条件化机制均为单向的,即信息仅从引导图像流向输入图像,而缺乏从输入图像反馈至引导图像的信息流动。为更充分地利用引导图像的约束信息,本文提出了一种双向特征变换(bi-directional feature transformation, bFT)机制。实验结果表明,所提出的bFT机制在多种任务上均优于其他条件化方法,并达到了与当前最先进方法相当的性能表现。

基于双向特征转换的引导图像到图像翻译 | 最新论文 | HyperAI超神经