HyperAIHyperAI

Command Palette

Search for a command to run...

メタ正則化を用いたプロンプト学習

Jinyoung Park Juyeon Ko Hyunwoo J. Kim

概要

事前学習された視覚言語モデルは、ゼロショット一般化の能力を活かして、さまざまなコンピュータビジョンタスクにおいて優れた成果を上げています。近年、さまざまな下流タスクに効率的かつ効果的に適応するため、プロンプト学習アプローチが注目されています。しかし、既存の多くのプロンプト学習手法は、特定のタスクから少量のデータでプロンプトを微調整する過程で、事前学習済み視覚言語モデルが持つ汎化知識が失われることにより、タスク過学習の問題を抱えています。この課題に対処するため、本研究では視覚言語モデルのプロンプト学習における汎化性能を向上させるための「プロンプトメタ正則化(ProMetaR)」を提案します。具体的には、ProMetaRは、メタ学習により正則化項とソフトプロンプトの両方を同時に学習することで、下流タスクからタスク固有の知識と、視覚言語モデルが持つタスクに依存しない汎化知識を効果的に活用します。さらに、タスクを拡張して複数の仮想タスクを生成することで、メタ学習における過学習を緩和します。また、勾配の整合性(gradient alignment)の観点から、ProMetaRがプロンプトチューニングの汎化性能をどのように向上させるかを分析しています。広範な実験の結果、ProMetaRはベース対ベース/ベース対新規、およびドメイン一般化の設定において、従来のプロンプト学習手法の汎化性能を顕著に向上させることを示しました。ProMetaRのコードは、https://github.com/mlvlab/ProMetaR にて公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています