テスト時ドメイン適応のための視覚的プロンプトチューニング

実世界における展開環境では、必然的に分布シフトが発生するため、モデルはテスト時における未観測データに適応できる能力が求められる。本研究では、元データ（ソースデータ）にアクセスできない状況下で、ターゲットドメインにテスト時適応（Test-Time Adaptation: TTA）を行うという実用的かつ挑戦的な問題に取り組む。我々は、二つの主要な要素からなるシンプルな手法である「データ効率的プロンプトチューニング」（Data-efficient Prompt Tuning, DePT）を提案する。第一に、DePTは視覚的プロンプトをビジョンTransformerに挿入し、適応過程ではこれらのプロンプトのみをチューニングする。このパラメータ効率的な微調整手法により、学習目的におけるノイズに過剰に適合することなく、ターゲットドメインに効果的にモデル表現を適応させることができることを確認した。第二に、DePTはメモリバンクを用いたオンライン擬似ラベル付けにより、ソース表現をターゲットドメインへブートストラップする。さらに、プロンプトに特化した階層的自己教師学習正則化を共同最適化することで、自己学習過程における誤差蓄積を緩和する。少ないチューニング可能なパラメータ数で、VisDA-C、ImageNet-C、DomainNet-126といった主要な適応ベンチマークにおいて、最先端の性能を達成するとともに、優れたデータ効率性を示す。具体的には、100%のデータを使用した場合と比較して、わずかな性能低下で1%または10%のデータでの適応が可能である。さらに、DePTはオンラインTTAやマルチソースTTA設定への拡張にも柔軟に対応可能である。