より大きなノルムほど転移しやすい: 監督なしドメイン適応のための適応的特徴量ノルムアプローチ

ドメイン適応は、学習者が新しい環境に安全に一般化するための手段を提供し、分布間のドメインシフトを軽減します。しかし、以前の研究では、ターゲットタスクにおけるモデル性能の著しい低下につながる根本的な理由を十分に解明できていませんでした。本論文では、実験的にターゲットドメインでの異常な識別が主にソースドメインと比較して特徴量ノルムが非常に小さいことから生じていることを明らかにしました。これに対処するために、新たなパラメータフリーのアダプティブ特徴量ノルム（Adaptive Feature Norm: AFN）手法を提案します。我々は、2つのドメインの特徴量ノルムを徐々に大きな値範囲へと適応させることで、大幅な転移効果が得られることを示しました。これは、ノルムが大きいタスク固有の特徴量ほど転移しやすいことを示唆しています。当手法は標準的なドメイン適応と部分的なドメイン適応の計算をより堅牢に統合し、ネガティブ転移問題に対する耐性を持たせます。特別な装飾や複雑さなしで数行のコードにより、当手法はターゲットタスクの性能を大幅に向上させ、既存の最先端技術に対して大きなマージン（Office-Homeデータセットで11.5%、VisDA2017データセットで17.1%）で優れています。我々はこの単純でありながら効果的な手法が転移学習に関する今後の研究に光を投げかけることを期待しています。コードは https://github.com/jihanyang/AFN で公開されています。