ReasonMap-Verkehrsdiagramm-Benchmark-Datensatz

Dieser Datensatz ist ein neuer Bewertungsmaßstab, der von einem Team der Westlake University, der National University of Singapore, der Zhejiang University und der Huazhong University of Science and Technology im Jahr 2025 vorgeschlagen wurde. Die relevanten Ergebnisse des Papiers sind:Können MLLMs mich nach Hause führen? Eine Benchmark-Studie zur detaillierten visuellen Schlussfolgerung anhand von TransitkartenReasonMap legt den Schwerpunkt auf räumliche Beziehungen und Routenbegründung in Bildern. Es handelt sich um den ersten Benchmark zur Bewertung multimodaler Argumentation, der sich auf hochauflösende Verkehrskarten (hauptsächlich U-Bahn-Karten) konzentriert und darauf ausgelegt ist, die Fähigkeit großer Modelle zu bewerten, feinkörnige, strukturierte räumliche Informationen in Bildern zu verstehen.

Datensatzfunktionen:

• Herausforderung der hohen Auflösung: Die durchschnittliche Auflösung jedes Kartenbildes im Datensatz beträgt bis zu 5839 × 5449, was viel höher ist als bei vorhandenen Aufgaben zum visuellen Denken und höhere Anforderungen an die Bildcodierungsfunktionen des Modells stellt.

• Schwierigkeitsgradbewusstes Design: Bilder werden mit ihrem Schwierigkeitsgrad gekennzeichnet, um eine ausgewogene Verteilung von Frage-Antwort-Paaren auf verschiedenen Schwierigkeitsstufen sicherzustellen und so eine umfassendere Bewertung der Modellfähigkeiten zu ermöglichen.

• Mehrdimensionales Bewertungssystem: Überprüft nicht nur die Genauigkeit der Antworten des Modells, sondern führt auch eine detaillierte Bewertung der Qualität der Modellroute durch, einschließlich Pfadrationalität und Übertragungsstrategien.

• Nahe an realen Anwendungsszenarien: Die Aufgaben basieren direkt auf Bildschlussfolgerung, sind nicht auf strukturierte Middleware angewiesen und ähneln eher der menschlichen Denkweise bei der Verwendung von Karten.