基于对比学习的领域增强任意图像风格迁移

在本工作中，我们提出一种新颖的风格特征表示学习方法，以解决任意图像风格迁移这一具有挑战性的问题。在图像风格化任务中，合适的风格表示作为关键组件，对于获得令人满意的结果至关重要。现有的基于深度神经网络的方法虽借助内容特征的二阶统计量（如Gram矩阵）取得了一定成效，但未能充分挖掘风格信息，导致出现局部失真、风格不一致等伪影问题。为解决上述问题，我们提出直接从图像特征本身学习风格表示，而非依赖其二阶统计量，通过分析多种风格之间的相似性与差异性，并考虑风格分布特性，从而实现更精准的风格建模。具体而言，我们提出一种基于对比学习的新型风格表示学习与风格迁移方法——对比式任意风格迁移（Contrastive Arbitrary Style Transfer, CAST）。该框架包含三个核心组件：用于风格编码的多层风格投影器、用于有效学习风格分布的域增强模块，以及用于图像风格迁移的生成网络。我们通过全面的定性与定量评估验证了所提方法在性能上显著优于当前最先进的技术。代码与模型已开源，地址为：https://github.com/zyxElsa/CAST_pytorch。