OmniSpatial est un jeu de données de référence de raisonnement spatial panoramique publié en 2025 par l'Université Tsinghua, l'Institut d'intelligence de Shanghai, le Laboratoire d'intelligence artificielle de Shanghai et d'autres institutions. Les résultats de l'étude sont les suivants :OmniSpatial : Vers une référence complète de raisonnement spatial pour les modèles de langage visuel, qui vise à combler le vide dans l’évaluation de la compréhension de l’espace modèle vision-langage.

Cet ensemble de données contient environ 1 533 exemples de questions-réponses en images, couvrant quatre grandes catégories de tâches de raisonnement spatial : raisonnement dynamique, logique spatiale complexe, interaction spatiale et prise de perspective, avec un total de 50 sous-tâches. Les données proviennent de sources diverses, notamment d'images Internet, de tests de psychologie et de questions d'examen de conduite. Les annotations ont fait l'objet de plusieurs cycles de révision afin d'en garantir la qualité et la diversité. Comparé aux benchmarks traditionnels, OmniSpatial évite la construction basée sur des modèles et est plus réaliste et complexe. Il teste non seulement les relations spatiales de base (comme l'avant-arrière, la gauche-droite et le proche-lointain), mais met également l'accent sur les interactions multi-objets, les changements de scène et le raisonnement croisé.

Cet ensemble de données est adapté à l'entraînement et à l'évaluation des capacités de raisonnement spatial de grands modèles multimodaux, notamment dans des applications telles que la navigation intelligente, la réalité augmentée/virtuelle et la compréhension de scènes complexes. Il s'agit d'un ensemble de données de référence standardisé, complet et exigeant.