18 天前

跨域集成蒸馏用于域泛化

{Suha Kwak, Sungyeon Kim, kyungmoon lee}
跨域集成蒸馏用于域泛化
摘要

在领域泛化(domain generalization)任务中,目标是利用多个源域(source domains)训练一个能够泛化至未见目标域(unseen target domains)的模型。目前许多方法通过显式对齐不同域之间的数据分布来实现这一目标。然而,由于目标域在训练阶段不可用,这种域对齐的优化过程存在过拟合的风险。为解决该问题,本文提出一种基于自蒸馏(self-distillation)的领域泛化方法。该方法通过在多个域中允许模型产生有意义的错误预测,从而训练出对域偏移(domain shift)具有鲁棒性的模型。具体而言,我们的方法将同一类别但来自不同域的数据的预测分布集合,与每个单独的预测分布进行匹配。此外,我们还提出了一种去风格化(de-stylization)方法,通过标准化图像的特征图,以促进预测结果的一致性。在两个主流基准数据集上的图像分类实验表明,所提出的方法在单源与多源设置下均显著提升了模型性能。同时,我们在行人重识别(person-reID)任务中也验证了该方法的有效性。在所有实验中,所提方法均实现了显著的性能提升。

跨域集成蒸馏用于域泛化 | 最新论文 | HyperAI超神经