EMMA-Benchmark-Datensatz Für Multimodales Denken

EMMA (Enhanced MultiModal reAsoning) ist ein Benchmark-Datensatz für multimodales Denken, der 2025 von Forschungsteams der University of Electronic Science and Technology of China, der Sun Yat-sen University, der University of Washington und von Microsoft veröffentlicht wurde. Die relevanten Ergebnisse der Studie sind:Können MLLMs multimodal argumentieren? EMMA: Ein verbesserter Benchmark für multimodales Denken", dessen Ziel darin besteht, eine standardisierte Testplattform zur Bewertung der komplexen Argumentationsfähigkeiten multimodaler Großmodelle (MLLMs) bereitzustellen.

Der Datensatz konzentriert sich auf multimodale Denkaufgaben in den Bereichen organische Chemie (42%), Mathematik (32%), Physik (6%) und Programmierung (20%). Es enthält 2.788 Fragen, von denen 1.796 neu erstellte Stichproben sind. Es unterstützt eine feingranulare Aufgabenteilung und zielt darauf ab, die gemeinsame Verstehensfähigkeit von Bildern und Texten zu fördern. Zu den Datenaufgabentypen gehören die Simulation chemischer Reaktionen, mathematisches Grafik-Argumentieren, physikalische Pfadverfolgung, Programmiervisualisierung usw.