上下文感知的Mixup用于域自适应语义分割

无监督域自适应（Unsupervised Domain Adaptation, UDA）旨在将标注的源域模型迁移到未标注的目标域。现有的基于UDA的语义分割方法通常在像素级、特征级和输出级上减小域间差异，然而，几乎所有的现有方法都严重忽视了跨域普遍存在的上下文依赖性，导致性能提升受限。本文提出一种新颖的上下文感知Mixup（Context-Aware Mixup, CAMix）框架，用于域自适应语义分割。该框架以端到端可训练的方式，将上下文依赖性这一重要先验信息显式地融入模型，从而增强模型对目标域的适应能力。首先，我们提出一种基于累积空间分布与先验上下文关系的上下文掩码生成策略。所生成的上下文掩码在本工作中起关键作用，能够指导在三个不同层次（像素级、特征级、输出级）进行上下文感知的域混合操作。此外，在引入上下文知识的基础上，我们设计了一种显著性加权的一致性损失（significance-reweighted consistency loss），用以惩罚混合后的学生模型预测与混合后的教师模型预测之间的不一致性，有效缓解了适应过程中的负迁移问题，例如早期性能下降现象。大量实验与深入分析表明，所提方法在多个广泛使用的UDA基准测试上均显著优于现有最先进方法，验证了其有效性与优越性。