13日前

自己調整型プロンプト:忘却なしの基礎モデル適応

Muhammad Uzair Khattak, Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan
自己調整型プロンプト:忘却なしの基礎モデル適応
要約

プロンプト学習は、CLIPなどの基礎モデルをさまざまな下流タスクに微調整するための効率的な代替手法として注目されている。従来のアプローチでは、タスク固有の目的関数(例:交差エントロピー損失)に基づいてプロンプトが学習されるが、この方法は下流データの分布に過剰適合しやすく、固定されたCLIPモデルからタスクに依存しない汎化特徴を捉えることが困難である。その結果、モデルの元々の汎化能力が損なわれるという問題が生じる。この課題に対処するため、本研究では「PromptSRC(Prompting with Self-regulating Constraints)」と呼ばれる自己正則化フレームワークを提案する。PromptSRCは以下の三つのアプローチを統合的に用いて、タスク固有の表現とタスクに依存しない汎化表現の両方を最適化するようにプロンプトを導く。具体的には、(a) 固定されたモデルとの相互一致最大化によりプロンプト表現を制約し、(b) 学習過程全体におけるプロンプトの自己アンサンブルを用いて、各プロンプトの補完的強みを統合的に表現させ、(c) テキストの多様性を用いて視覚ブランチとのサンプル多様性の不均衡を緩和する。本研究の知見によれば、これは、事前学習済みモデルの特徴、プロンプト学習における学習軌道、およびテキストの多様性を統合的に考慮することで過剰適合を回避する、プロンプト学習における初めての正則化フレームワークである。PromptSRCは、下流タスクにおける性能を最大化する表現空間を明示的に学習させつつ、CLIPの汎化能力を損なわないように設計されている。本研究では4つのベンチマーク上で広範な実験を実施した結果、既存手法と比較して全体的に優れた性能を示した。本研究のコードおよび事前学習済みモデルは、以下のURLから公開されている:https://github.com/muzairkhattak/PromptSRC。

自己調整型プロンプト:忘却なしの基礎モデル適応 | 最新論文 | HyperAI超神経