EMMA (Enhanced MultiModal reAsoning) は、中国電子科技大学、中山大学、ワシントン大学、マイクロソフトの研究チームによって 2025 年にリリースされたマルチモーダル推論ベンチマーク データセットです。関連する論文の結果は次のとおりです。MLLM はマルチモダリティで推論できますか? EMMA: 強化されたマルチモーダル推論ベンチマーク」は、マルチモーダル大規模モデル (MLLM) の複雑な推論機能を評価する標準化されたテスト プラットフォームを提供することを目的としています。
このデータセットは、有機化学 (42%)、数学 (32%)、物理学 (6%)、プログラミング (20%) の分野におけるマルチモーダル推論タスクに重点を置いています。 2,788 の質問が含まれており、そのうち 1,796 は新しく作成されたサンプルです。きめ細かなタスク分割をサポートし、画像とテキストの共同理解能力の向上を目指します。データ タスクの種類には、化学反応シミュレーション、数学的グラフィックス推論、物理パス トレーシング、プログラミング視覚化などがあります。
