摘要
图像风格迁移的目标是在保持原始内容不变的前提下，借助风格参考图像将艺术特征迁移到目标图像中。由于卷积神经网络（CNN）固有的局部性特征，难以有效提取并保持输入图像的全局信息，因此传统神经风格迁移方法往往存在内容表征偏差的问题。为解决这一关键挑战，本文提出一种基于Transformer的风格迁移方法——StyTr²，通过建模输入图像的长程依赖关系来提升风格迁移效果。与面向其他视觉任务的视觉Transformer不同，StyTr²采用两个独立的Transformer编码器，分别生成内容和风格的特定领域序列。在编码器之后，引入多层Transformer解码器，根据风格序列对内容序列进行风格化处理。此外，本文还分析了现有位置编码方法的局限性，提出了一种面向内容感知的位置编码（Content-Aware Positional Encoding, CAPE），该方法具备尺度不变性，更适用于图像风格迁移任务。定性与定量实验结果表明，StyTr²在性能上显著优于当前主流的基于CNN和基于流（flow-based）的方法。代码与模型已开源，地址为：https://github.com/diyiiyiii/StyTR-2。