
長尾分類において、多くの研究では大規模なデータセット上で大きなモデルを事前学習した後、そのモデル全体を長尾データに適応させるために微調整(fine-tuning)を行う。このアプローチは有望ではあるが、モデル全体を微調整するため、計算コストと異なるタスクごとのモデル展開コストが高くなるとともに、長尾データの特定の特徴に過剰に適合(overfitting)するため、汎化能力が低下するという問題がある。これらの課題を緩和するために、本研究では長尾分類に向けた効果的な「長尾プロンプトチューニング(Long-tailed Prompt Tuning, LPT)」手法を提案する。LPTは、事前学習済みモデルを固定した状態で、学習可能なプロンプトを複数導入し、そのモデルを長尾データに適応させる。より高い効果を実現するため、プロンプトを2つのグループに分ける:1)全長尾データに対して共通する「共有プロンプト」は、一般特徴の学習と事前学習モデルのターゲットドメインへの適応を目的とする。2)「グループ固有プロンプト」は、類似した特徴を持つサンプル群に対して、そのグループ固有の特徴を捉え、事前学習モデルに識別能力を付与する。その後、これらのプロンプトを学習するための2段階トレーニングフレームワークを設計した。第1段階では、教師ありプロンプトチューニングにより共有プロンプトを学習し、事前学習モデルを望ましい長尾ドメインに適応させる。第2段階では、学習済みの共有プロンプトをクエリとして用い、グループ固有プロンプト群から類似サンプル群に最も適した小さなセットを検索し、それらの共通特徴を抽出する。その後、二重サンプリング戦略と非対称なグラフコラプス学習(asymmetric GCL loss)を用いて、これらのプロンプトを最適化する。本手法では、事前学習モデルを固定したまま、わずか数個のプロンプトのみを微調整するため、トレーニングおよび展開コストを大幅に削減でき、少数のプロンプトを保存するだけで済む。さらに、事前学習モデルの強力な汎化能力を活かすことができる。実験結果によると、さまざまな長尾ベンチマークにおいて、わずか約1.1%の追加パラメータで、従来のモデル全体の微調整手法と同等の性能を達成しつつ、ドメインシフトに対してよりロバストであることが示された。