大規模事前学習モデルを用いたMixture-of-Adaptersを用いたドメイン一般化

分布外（OOD）状況において良好な性能を発揮するロバストなビジョンモデルの学習は、実世界におけるモデル導入において重要な課題である。この分野における広範な研究にもかかわらず、多くの提案手法は、限られたハイパーパラメータ探索空間でのベンチマーク評価において、最も単純な経験的リスク最小化（ERM）アプローチと比較して僅かな性能向上しか示していない。本研究では、大規模な事前学習モデルの知識を活用して、OOD状況の処理能力を向上させ、ドメイン一般化問題に取り組むことを目的とする。しかしながら、先行研究は、大規模な事前学習モデルを単純に微調整（fine-tuning）すると、OODロバスト性が損なわれる可能性があることを明らかにしている。したがって、本研究では、大規模モデルを用いながらOODロバスト性を効果的に保持するため、パラメータ効率的な微調整（PEFT）手法を採用する。広範な実験と分析の結果、最も効果的なアプローチは、多様なモデルのアンサンブル化と事前学習規模の拡大であることが確認された。その結果、ドメイン一般化タスクにおいて、最先端の性能を達成した。本研究のコードおよびプロジェクトページは以下の通り：https://cvlab-kaist.github.io/MoA