1 个月前

更大的范数更可迁移:一种无监督领域适应的自适应特征范数方法

Ruijia Xu; Guanbin Li; Jihan Yang; Liang Lin
更大的范数更可迁移:一种无监督领域适应的自适应特征范数方法
摘要

领域适应(Domain Adaptation)使学习者能够在新环境中安全地进行泛化,通过缓解不同分布之间的领域偏移来实现这一目标。以往的研究可能未能有效揭示导致目标任务模型性能急剧下降的根本原因。在本文中,我们通过实证研究发现,目标领域的异常判别主要源于其特征范数相对于源领域显著较小。为此,我们提出了一种新颖的无参数自适应特征范数(Adaptive Feature Norm, AFN)方法。我们证明了逐步将两个领域的特征范数调整到较大的数值范围内可以带来显著的迁移增益,这表明具有较大范数的任务特定特征更具可迁移性。我们的方法成功地统一了标准领域适应和部分领域适应的计算,并对负迁移问题表现出更强的鲁棒性。无需复杂的附加机制,仅需几行代码,我们的方法就能大幅提高目标任务的性能,并且在多个基准数据集上显著超越现有最先进方法(在Office-Home数据集上提升11.5%,在VisDA2017数据集上提升17.1%)。我们希望这一简单而有效的方法能够为未来迁移学习的研究提供一些启示。代码已发布在 https://github.com/jihanyang/AFN。

更大的范数更可迁移:一种无监督领域适应的自适应特征范数方法 | 最新论文 | HyperAI超神经