MRR-Benchmark Multimodaler Lese-Benchmark-Datensatz

Der Multimodal Reading (MMR)-Benchmark umfasst 550 kommentierte Frage-Antwort-Paare in 11 verschiedenen Aufgaben, die Text, Schriftarten, visuelle Elemente, Begrenzungsrahmen, räumliche Beziehungen und Grundwahrheiten mit gut konzipierten Bewertungsmetriken abdecken.

Der Benchmark wurde 2024 von Forschern der State University of New York in Buffalo und Adobe Research veröffentlicht.MMR: Bewertung der Lesefähigkeit großer multimodaler Modelle".