AdaAttN: 重新审视任意神经风格迁移中的注意力机制

快速任意神经风格迁移因其灵活性而在学术界、工业界和艺术界引起了广泛关注，能够支持多种应用。现有的解决方案要么在不考虑特征分布的情况下，将深度风格特征有选择地融合到深度内容特征中，要么根据风格自适应地对深度内容特征进行归一化处理，以匹配其全局统计特性。尽管这些方法有效，但它们忽略了浅层特征，并且没有局部考虑特征统计特性，因此容易产生不自然的输出，出现令人不悦的局部扭曲。为了解决这一问题，本文提出了一种新的注意力和归一化模块，称为自适应注意力归一化（AdaAttN），能够在每个点上自适应地执行注意力归一化。具体而言，空间注意力得分从内容图像和风格图像的浅层和深层特征中学习得到。然后通过将一个风格特征点视为所有风格特征点的注意力加权输出分布来计算每个点的加权统计特性。最后，内容特征被归一化，使其表现出与计算出的每个点加权风格特征统计特性相同的局部特征统计特性。此外，基于AdaAttN推导出一种新的局部特征损失函数，以增强局部视觉质量。我们还对AdaAttN进行了轻微修改，使其适用于视频风格迁移。实验结果表明，我们的方法在任意图像/视频风格迁移方面达到了最先进的水平。代码和模型已公开可用。