分布シフトへの適応：視覚ドメインプロンプト生成による手法

本稿では、テスト時に少量のラベルなしデータを用いてモデルを適応させることにより、分布シフト（distribution shift）の問題に対処することを目的とする。限られたデータ量からドメイン知識を抽出するという課題に取り組むためには、事前学習されたバックボーンおよびソースドメインからの相関情報を有効に活用することが不可欠である。これまでの研究では、分布外一般化性能が優れた最近のファウンデーションモデルを活用していない。また、ドメイン中心の設計思想が導入されていない。さらに、ソースドメインのモデリングプロセスと適応学習プロセスが独立した訓練段階に分離されており、統合的な最適化が行われていない。本研究では、ファウンデーションモデルの事前計算済み特徴量を基盤として、新たなアプローチを提案する。具体的には、ソースドメインから転移可能な知識を学習するための「知識バンク」を構築する。少量のターゲットデータを条件として、知識バンクの知識をドメイン固有のプロンプトに凝縮する「ドメインプロンプト生成器」を導入する。生成されたドメインプロンプトは、ガイドモジュールを通じて視覚特徴を特定のドメイン方向へ誘導する。さらに、ドメインに敏感な対照的損失（domain-aware contrastive loss）を提案し、メタ学習を用いてドメイン知識の抽出を促進する。広範な実験により、ドメイン知識抽出の有効性を検証した。提案手法は、WILDSやDomainNetを含む5つの大規模ベンチマークにおいて、従来手法を上回る性能を達成した。