8 天前

先泛化再适应:无源域自适应语义分割

Jogendra Nath Kundu, Akshay Kulkarni, Amit Singh, Varun Jampani, R. Venkatesh Babu
先泛化再适应:无源域自适应语义分割
摘要

无监督域自适应(Unsupervised Domain Adaptation, DA)在语义分割领域受到了广泛关注。然而,现有绝大多数方法均假设能够同时访问带标注的源域数据与无标注的目标域数据,这使其难以适用于仅能使用源域数据进行训练、而无法再次访问源域的“无源域自适应”(source-free DA)场景。为此,本文提出一种实现无源域自适应的新范式,将该任务分解为两个阶段:a)仅基于源域的域泛化(domain generalization),以及 b)无源域的目标域自适应。针对第一阶段,我们提供了理论分析,设计了一种多头(multi-head)框架,并基于虚拟扩展的多源数据集进行训练,旨在实现模型泛化能力与特定域适应能力之间的平衡。针对第二阶段,我们利用该多头框架生成高质量的目标域伪标签,用于自训练(self-training)。此外,本文还提出一种新颖的条件先验约束自编码器(conditional prior-enforcing auto-encoder),有效抑制了空间上的不规则性,从而进一步提升伪标签的可靠性。在标准的GTA5→Cityscapes与SYNTHIA→Cityscapes基准测试中,我们的方法在性能上显著优于以往非无源域自适应的先进方法。进一步实验表明,本方法可与在线自适应机制兼容,具备在动态变化环境中部署的潜力。

先泛化再适应:无源域自适应语义分割 | 最新论文 | HyperAI超神经