Ensemble De Données De Référence De Raisonnement Du Graphique De Trafic ReasonMap

Cet ensemble de données est une nouvelle référence d'évaluation proposée par une équipe de l'Université Westlake, de l'Université nationale de Singapour, de l'Université du Zhejiang et de l'Université des sciences et technologies de Huazhong en 2025. Les résultats pertinents de l'article sont les suivants :Les MLLM peuvent-ils me guider vers mon domicile ? Étude comparative sur le raisonnement visuel précis à partir de cartes de transport en commun.ReasonMap met l'accent sur les relations spatiales et le raisonnement d'itinéraire dans les images. Il s'agit du premier benchmark d'évaluation du raisonnement multimodal axé sur les cartes de trafic haute résolution (principalement les plans de métro) et conçu pour évaluer la capacité des grands modèles à comprendre les informations spatiales structurées et fines dans les images.

Caractéristiques du jeu de données :

• Défi haute résolution : la résolution moyenne de chaque image de carte dans l'ensemble de données est aussi élevée que 5839 × 5449, ce qui est bien plus élevé que les tâches de raisonnement visuel existantes et impose des exigences plus élevées aux capacités d'encodage d'image du modèle.

• Conception tenant compte de la difficulté : les images sont étiquetées avec difficulté pour garantir une répartition équilibrée des paires question-réponse à différents niveaux de difficulté, contribuant ainsi à évaluer de manière plus complète les capacités du modèle.

• Système d'évaluation multidimensionnel : non seulement il examine l'exactitude des réponses du modèle, mais il effectue également une évaluation précise de la qualité de l'itinéraire du modèle, y compris la rationalité du chemin et les stratégies de transfert.

• Proche des scénarios d'utilisation du monde réel : les tâches sont directement basées sur le raisonnement par image, ne reposent pas sur un middleware structuré et sont plus proches de la façon dont les humains pensent lorsqu'ils utilisent des cartes.