HyperAIHyperAI

Command Palette

Search for a command to run...

勾配マッチングを用いたドメイン一般化

Yuge Shi Jeffrey Seely Philip H.S. Torr N. Siddharth Awni Hannun Nicolas Usunier Gabriel Synnaeve

概要

機械学習システムは通常、訓練データとテストデータの分布が類似していると仮定している。しかし、実世界におけるこのようなシステムにとって重要な要件は、未観測のドメインへ一般化する能力である。本研究では、異なるドメインからの勾配間の内積を最大化することでドメイン一般化を狙う、ドメイン間勾配マッチング目的関数を提案する。直接的に勾配の内積を最適化することは計算上非現実的であり(2階微分の計算が必要となるため)、我々はこれを近似するシンプルな1階アルゴリズム「Fish」を導出する。Wildsベンチマークに含まれる6つのデータセットを用いた実験により、本手法の有効性を検証した。これらのデータセットは多様なモダリティにおける分布シフトを捉えている。Fishはこれらのデータセットで競争力のある結果を達成し、4つのデータセットではすべてのベースラインを上回った。さらに、実世界の分布シフトを捉えるWildsベンチマークに加え、合成データから実データへの転移に焦点を当てたDomainBedベンチマークでも実験を実施した。両ベンチマークにおいて本手法は高い性能を示し、幅広いドメイン一般化タスクにおいて有効性を実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています