17日前

画像-言語モデルの汎化のためのベイジアンプロンプト学習

Mohammad Mahdi Derakhshani, Enrique Sanchez, Adrian Bulat, Victor Guilherme Turrisi da Costa, Cees G. M. Snoek, Georgios Tzimiropoulos, Brais Martinez
画像-言語モデルの汎化のためのベイジアンプロンプト学習
要約

基礎的な画像・言語モデルは、プロンプト学習を用いた下流タスクへの効率的な適応性から、大きな注目を集めている。プロンプト学習は、言語モデルの入力の一部をトレーナブルなパラメータとして扱い、残りの部分を固定する手法であり、経験的リスク最小化(Empirical Risk Minimization, ERM)を最適化対象とする。しかし、ERMは分布シフト(distributional shifts)に脆弱であり、訓練時に見られなかったプロンプトに対する汎化性能の低下を引き起こすことが知られている。本研究では、ベイズ的手法の正則化能力を活用し、プロンプト学習をベイズ的視点から再定式化し、変分推論(variational inference)の問題として定式化する。本手法により、プロンプト空間の正則化が実現され、既に見られたプロンプトへの過学習が抑制され、未見のプロンプトに対する汎化性能が向上する。本フレームワークは、入力プロンプト空間を確率的モデルとして定式化し、事前分布(a priori distribution)として扱うことで実装されており、画像に条件付けられるか否かにかかわらず、既存のプロンプト学習手法と互換性を持つ。15のベンチマークにおいて実証的に検証した結果、ベイズ的プロンプト学習はプロンプト空間の適切なカバレッジを実現し、誤った特徴(spurious features)の学習を防ぎ、転移可能な不変特徴(invariant features)を効果的に活用する。その結果、異なるデータセットやドメイン間でも未見のプロンプトに対する優れた汎化性能が得られる。コードは以下にて公開:https://github.com/saic-fi/Bayesian-Prompt-Learning

画像-言語モデルの汎化のためのベイジアンプロンプト学習 | 最新論文 | HyperAI超神経