通过知识蒸馏实现无监督多目标域适应

无监督域适应（UDA）旨在缓解目标域未标记数据与源域标记数据分布之间的域偏移问题。尽管单目标 UDA 场景在文献中已有深入研究，但多目标域适应（MTDA）由于其实际重要性，例如在多摄像头视频监控应用中，仍鲜有探索。解决 MTDA 问题的一种方法是为每个目标域训练一个专门的模型，然而这种解决方案在许多现实应用中成本过高。已提出将多个目标融合以应对 MTDA，但这种方法可能导致模型特异性和准确性降低。本文中，我们提出了一种新颖的无监督 MTDA 方法来训练一个能够在多个目标域上具有良好泛化的卷积神经网络（CNN）。我们的多教师 MTDA（MT-MTDA）方法依赖于多教师知识蒸馏（KD），通过迭代过程从多个教师向一个共同的学生传递目标域知识。知识蒸馏过程以渐进的方式进行，学生由每个教师分别指导如何针对特定目标执行 UDA，而不是直接学习领域适应特征。最后，与结合每个教师的知识不同，MT-MTDA 在传递知识的教师之间交替训练，从而在学生学习过程中保留了每个目标（即教师）的特异性。我们将 MT-MTDA 与几种最先进的方法在多个具有挑战性的 UDA 基准上进行了比较，实证结果表明我们提出的模型在多个目标域上的准确性显著提高。我们的代码可在以下地址获取：https://github.com/LIVIAETS/MT-MTDA