Yumin Choi Dongki Kim Jinheon Baek Sung Ju Hwang

要約

大規模言語モデル（LLM）は顕著な成功を収めており、そのマルチモーダル拡張（MLLM）により、テキスト以外の画像、動画、さらにはその他のモダリティにまで能力が拡張されている。しかし、このような移行にもかかわらず、手動でのプロンプト設計の負担を軽減しつつ性能を最大化することを目的としたプロンプト最適化手法は、依然としてテキストに限定されており、結果としてMLLMの潜在能力を十分に発揮するには至っていない。このギャップに着目し、本研究では「マルチモーダルプロンプト最適化」という新たな課題を提示する。これは、従来のプロンプト最適化の定義を、テキストプロンプトと非テキストプロンプトのペアで定義されるマルチモーダル空間へ拡張するものである。この課題に対処するため、本研究ではマルチモーダルプロンプト最適化器（MPO）を提案する。MPOは、モダリティ間の整合性を保持する更新手法により、マルチモーダルプロンプトの同時最適化を実現するだけでなく、ベイズに基づく選択戦略を用いて、過去の評価結果を事前知識（prior）として活用し、候補プロンプトの選択プロセスをガイドする統合的なフレームワークである。画像や動画、さらには分子といったテキスト以外の多様なモダリティにわたる広範な実験を通じて、MPOが最先端のテキスト限定最適化手法を上回ることを実証した。これにより、マルチモーダルプロンプト最適化がMLLMの潜在能力を実現する上で不可欠なステップであることが確立された。