摘要
本文研究了从合成源域到真实目标域的语义分割适应问题。与以往多数工作侧重于设计基于对抗机制的域对齐方法不同，本文从一个全新的视角——内容一致匹配（Content-Consistent Matching, CCM）——来应对这一具有挑战性的任务。CCM的目标是筛选出在目标域中与真实图像具有相似分布特性的合成图像，从而通过使用这些内容一致的合成图像进行训练，自然地缓解域间差异。具体而言，本文从两个方面推进CCM的实现：语义布局匹配与像素级相似性匹配。首先，利用源域中的全部合成图像训练一个初始的分割模型，该模型随后用于为未标注的目标域图像生成粗粒度的像素级标签。基于真实图像与合成图像的粗略/精确标签图，我们分别从水平和垂直方向构建其语义布局矩阵，并通过矩阵匹配方法，识别出与真实图像具有相似语义布局的合成图像。其次，选取预测置信度较高的标签，为目标域中所有类别生成特征嵌入，并在筛选出的布局一致的合成图像上进一步执行像素级匹配，以挖掘出在外观上具有一致性的像素区域。通过所提出的CCM机制，仅保留内容一致的合成图像用于分割模型的学习，从而有效缓解了由内容无关的合成图像所引入的域偏移问题。我们在两个主流的域适应任务上进行了大量实验，分别为GTA5→Cityscapes和SYNTHIA→Cityscapes。实验结果表明，所提出的CCM方法在多个基准模型上均取得了稳定且一致的性能提升，并优于现有的最先进方法。