8 天前

G2L:一种用于无监督域自适应语义分割的全局到局部对齐方法

{Thi-Oanh Nguyen, Dinh Viet Sang, Kieu Dang Nam, Nguyen Viet Manh}
摘要

无监督域自适应(Unsupervised Domain Adaptation, UDA)用于语义分割的目标是将源域数据集(具有密集像素级标注)中的知识迁移至无标注的目标域数据集。然而,UDA方法的性能通常受到域偏移(domain shift)的影响,即两个域之间特征分布的差异。尽管已有多种方法尝试在图像层面进行一定程度的分布对齐,但由于所谓的类别级域偏移(category-level domain shift)的存在,这种全局对齐并不能保证在目标域中,来自不同类别的深层特征具有良好的可分性。因此,生成的伪标签可能含有噪声,进而污染目标域上的学习过程。部分近期方法通过利用类别级别的信息,在线对伪标签进行去噪。本文提出一种新颖的UDA方法——全局到局部对齐(Global-to-Local alignment, G2L),该方法从全局视角出发,结合细粒度的对抗训练机制与一种新提出的色彩傅里叶变换(chromatic Fourier transform),以缓解图像级域偏移问题。随后,在局部视角下,针对类别级域偏移问题,本文提出一种长尾类别评分策略,并在生成和去噪伪标签过程中引入动态置信度阈值与类别优先级权重,以更好地关注稀有类别。最后,通过自蒸馏(self-distillation)机制进一步提升最终的分割性能。在GTA5→Cityscapes和SYNTHIA→Cityscapes等主流基准上的实验结果表明,所提方法在分割精度上优于当前其他最先进的方法。