GroundingME est un jeu de données d'évaluation visuelle de référence pour les modèles de langage multimodaux de grande taille (MLLM), publié en 2025 par l'Université Tsinghua en collaboration avec Xiaomi et l'Université de Hong Kong, entre autres institutions. Les articles de recherche associés incluent… GroundingME : Révéler le fossé de l’ancrage visuel dans les MLLM grâce à une évaluation multidimensionnelleL'objectif est d'évaluer systématiquement la capacité du modèle à associer avec précision le langage naturel à des cibles visuelles dans des scénarios complexes du monde réel, en accordant une attention particulière à la compréhension et à la sécurité dans des situations impliquant des références ambiguës, des relations spatiales complexes, de petites cibles, l'occlusion et l'absence de référentialité.

Cet ensemble de données contient 1 005 exemples d'évaluation. Les images proviennent de deux ensembles de données de haute qualité, SA-1B et HR-Bench, et seules les images originales ont été utilisées pour la construction des tâches afin d'éviter toute contamination des données. Les exemples couvrent quatre catégories de tâches principales : référence discriminative (204 exemples, TP3T de 20,31 %), compréhension des relations spatiales (300 exemples, TP3T de 29,91 %), scènes à visibilité réduite (300 exemples, TP3T de 29,91 %) et tâche de rejet non référentielle (201 exemples, TP3T de 20,01 %), elles-mêmes subdivisées en 12 sous-tâches secondaires présentant une distribution globale équilibrée. L'ensemble de données comprend 241 classes d'objets du monde réel. Une même image contient un grand nombre d'objets de la même classe, et les instances d'objets occupent généralement une petite proportion de l'image. La longueur des descriptions linguistiques est nettement supérieure à celle des ensembles de données de référence existants, ce qui accroît considérablement la difficulté des tâches de référence visuelle multidimensionnelles.