勾配マッチングを用いたドメイン一般化

機械学習システムは通常、訓練データとテストデータの分布が類似していると仮定している。しかし、実世界におけるこのようなシステムにとって重要な要件は、未観測のドメインへ一般化する能力である。本研究では、異なるドメインからの勾配間の内積を最大化することでドメイン一般化を狙う、ドメイン間勾配マッチング目的関数を提案する。直接的に勾配の内積を最適化することは計算上非現実的であり（2階微分の計算が必要となるため）、我々はこれを近似するシンプルな1階アルゴリズム「Fish」を導出する。Wildsベンチマークに含まれる6つのデータセットを用いた実験により、本手法の有効性を検証した。これらのデータセットは多様なモダリティにおける分布シフトを捉えている。Fishはこれらのデータセットで競争力のある結果を達成し、4つのデータセットではすべてのベースラインを上回った。さらに、実世界の分布シフトを捉えるWildsベンチマークに加え、合成データから実データへの転移に焦点を当てたDomainBedベンチマークでも実験を実施した。両ベンチマークにおいて本手法は高い性能を示し、幅広いドメイン一般化タスクにおいて有効性を実証した。