生成型マルチモーダル事前学習モデルにおけるPrompt Tuning

プロンプトチューニングは、モデルチューニングの新たなパラダイムとして注目されており、自然言語の事前学習にとどまらず、視覚領域の事前学習においても成功を収めている。本研究では、対照的学習モデルではなく、生成型マルチモーダル事前学習モデルを対象として、プロンプトチューニングのマルチモーダル事前学習への適用を検討する。具体的には、理解と生成の両タスクに対応可能な統一的なシーケンス・トゥ・シーケンス型事前学習モデルにプロンプトチューニングを適用した。実験結果から、軽量なプロンプトチューニングが微調整（fine-tuning）と同等の性能を達成し、他の軽量チューニング手法を上回ることが示された。さらに、微調整モデルと比較して、プロンプトチューニングモデルは敵対的攻撃に対して優れたロバスト性を示した。また、プロンプト長、プロンプトの深さ、再パラメータ化といった実験要因がモデル性能に大きな影響を与えることが明らかとなり、それらに基づきプロンプトチューニングの設定に関する実証的な推奨事項を提示した。一方で、観察された利点にもかかわらず、プロンプトチューニングには依然としていくつかの限界が存在することが判明しており、今後の研究における課題も指摘した。コードは以下のURLにて公開されている：\url{https://github.com/OFA-Sys/OFA}