17 天前

通过集成自监督学习利用图像翻译实现无监督域自适应

Fabrizio J. Piva, Gijs Dubbelman
通过集成自监督学习利用图像翻译实现无监督域自适应
摘要

我们提出了一种统一的无监督域自适应(Unsupervised Domain Adaptation, UDA)策略,该策略将多种图像转换、集成学习与自监督学习有机结合,形成一个连贯的框架。本研究聚焦于UDA中的一个标准任务:利用带标签的合成数据与大量未标注的真实世界数据联合训练语义分割模型,使其在真实场景数据上具有良好的泛化性能。为充分发挥多种图像转换方法的优势,我们提出一种集成学习方法:通过三个分类器分别基于不同图像转换生成的特征进行预测,使各分类器独立学习;随后,采用稀疏多项式逻辑回归(sparse Multinomial Logistic Regression)对三者的输出进行融合。该回归层作为“元学习器”(meta-learner),在自监督学习过程中生成伪标签时有效降低了偏差,并通过综合各分类器的贡献,显著提升了模型的泛化能力。我们在标准UDA基准数据集上对所提方法进行了评估,具体包括将GTA V与Synthia数据集迁移到Cityscapes数据集的任务,实验结果在平均交并比(mean Intersection over Union, mIoU)指标上达到了当前最优水平。此外,我们还进行了大量消融实验,充分验证了所提出UDA策略在性能与鲁棒性方面的优越性。