MMPR-v1.2-Promptsは、上海人工知能研究所が清華大学、復旦大学などの研究機関と共同で2024年に公開した、マルチモーダル推論における選好学習のためのプロンプトコーパス集です。関連論文は以下の通りです。混合優先最適化によるマルチモーダル大規模言語モデルの推論能力の強化「複雑な視覚言語推論タスクにおけるモデルのトレーニングと評価をサポートすることを目的としています。」

データ構造

データセットには約 300 万のサンプルが含まれており、それぞれが自然言語のテキスト プロンプトであり、その一部にはマルチモーダル制約 (画像とテキストの推論を組み合わせる要件など) が含まれています。

• 指示/プロンプト: 自然言語で表現され、視覚的な質問回答、グラフテキスト推論、シーン理解などのマルチモーダル推論シナリオをカバーします。
• 入力コンテキスト: 一部のタスクでは、モデルを制限して出力を生成するために、画像、テキスト、またはその 2 つの組み合わせが含まれます。
• 出力形式: 「思考の連鎖」、「複数選択の理由」、「説明出力」など、プロンプトで指定された回答の形式。

データセット自体には、モデルによって生成された回答や選好ラベル付けの結果は含まれていませんが、データ生成の開始点として機能し、その後のマルチモーダル選好ランキングデータ (MMPR データセット) の構築のための入力プロンプトを提供します。