HyperAIHyperAI

Command Palette

Search for a command to run...

生成型マルチモーダル事前学習モデルにおけるPrompt Tuning

Hao Yang Junyang Lin An Yang Peng Wang Chang Zhou Hongxia Yang

概要

プロンプトチューニングは、モデルチューニングの新たなパラダイムとして注目されており、自然言語の事前学習にとどまらず、視覚領域の事前学習においても成功を収めている。本研究では、対照的学習モデルではなく、生成型マルチモーダル事前学習モデルを対象として、プロンプトチューニングのマルチモーダル事前学習への適用を検討する。具体的には、理解と生成の両タスクに対応可能な統一的なシーケンス・トゥ・シーケンス型事前学習モデルにプロンプトチューニングを適用した。実験結果から、軽量なプロンプトチューニングが微調整(fine-tuning)と同等の性能を達成し、他の軽量チューニング手法を上回ることが示された。さらに、微調整モデルと比較して、プロンプトチューニングモデルは敵対的攻撃に対して優れたロバスト性を示した。また、プロンプト長、プロンプトの深さ、再パラメータ化といった実験要因がモデル性能に大きな影響を与えることが明らかとなり、それらに基づきプロンプトチューニングの設定に関する実証的な推奨事項を提示した。一方で、観察された利点にもかかわらず、プロンプトチューニングには依然としていくつかの限界が存在することが判明しており、今後の研究における課題も指摘した。コードは以下のURLにて公開されている:\url{https://github.com/OFA-Sys/OFA}


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています