EMMA (Enhanced MultiModal reAsoning) は、中国電子科技大学、中山大学、ワシントン大学、マイクロソフトの研究チームによって 2025 年にリリースされたマルチモーダル推論ベンチマーク データセットです。関連する論文の結果は次のとおりです。MLLM はマルチモダリティで推論できますか? EMMA: 強化されたマルチモーダル推論ベンチマーク」は、マルチモーダル大規模モデル (MLLM) の複雑な推論機能を評価する標準化されたテスト プラットフォームを提供することを目的としています。 このデータセットは、有機化学 (42%)、数学 (32%)、物理学 (6%)、プログラミング (20%) の分野におけるマルチモーダル推論タスクに重点を置いています。 2,788 の質問が含まれており、そのうち 1,796 は新しく作成されたサンプルです。きめ細かなタスク分割をサポートし、画像とテキストの共同理解能力の向上を目指します。データ タスクの種類には、化学反応シミュレーション、数学的グラフィックス推論、物理パス トレーシング、プログラミング視覚化などがあります。

引用

@misc{hao2025mllmsreasonmultimodalityemma,
title={Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark},
author={Yunzhuo Hao and Jiawei Gu and Huichen Will Wang and Linjie Li and Zhengyuan Yang and Lijuan Wang and Yu Cheng},
year={2025},
eprint={2501.05444},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2501.05444},
}