8 天前

原型伪标签去噪与目标结构学习用于域自适应语义分割

Pan Zhang, Bo Zhang, Ting Zhang, Dong Chen, Yong Wang, Fang Wen
原型伪标签去噪与目标结构学习用于域自适应语义分割
摘要

自训练(self-training)是领域自适应分割中一种具有竞争力的方法,其通过在目标域上使用伪标签来训练网络。然而,不可避免地,伪标签存在噪声,且由于源域与目标域之间的分布差异,目标域特征呈现分散状态。本文提出一种基于代表性原型(representative prototypes)的方法,即各类别的特征中心,以解决上述两个问题。特别地,我们进一步利用原型之间的特征距离,该距离信息比仅使用原型本身更为丰富。具体而言,我们利用该距离信息估计伪标签的置信度,从而在训练过程中实现在线修正。同时,我们基于同一目标样本的两种不同视图之间的相对特征距离,对原型分配进行对齐,从而构建更加紧凑的目标域特征空间。此外,我们发现将已学习的知识蒸馏至一个自监督预训练模型中,能够进一步提升模型性能。实验结果表明,本方法在性能上显著优于当前最先进的技术。相关代码将公开发布。