Command Palette
Search for a command to run...
SpatialBot : Une compréhension spatiale précise à l’aide de modèles vision-langage
SpatialBot : Une compréhension spatiale précise à l’aide de modèles vision-langage
Wenxiao Cai Iaroslav Ponomarenko Jianhao Yuan Xiaoqi Li Wankou Yang Hao Dong Bo Zhao
Résumé
Les modèles vision-langage (VLM) ont atteint des performances remarquables dans l’interprétation d’images 2D, mais ils peinent encore à comprendre l’espace, qui constitue la base de l’intelligence artificielle incarnée (Embodied AI). Dans cet article, nous proposons SpatialBot, un modèle conçu pour améliorer la compréhension spatiale en alimentant le système à la fois avec des images RGB et des images de profondeur. Par ailleurs, nous avons construit le jeu de données SpatialQA, comprenant des questions à plusieurs niveaux liées à la profondeur, afin d’entraîner les VLM à mieux comprendre les informations de profondeur. Enfin, nous présentons SpatialBench, une plateforme d’évaluation complète permettant d’analyser de manière fine les capacités des VLM dans la compréhension spatiale à différents niveaux. Des expériences étendues sur notre benchmark de compréhension spatiale, ainsi que sur des benchmarks généraux de VLM et des tâches d’IA incarnée, démontrent de manière significative les améliorations apportées par SpatialBot entraîné sur SpatialQA. Le modèle, le code source et les données sont disponibles à l’adresse suivante : https://github.com/BAAI-DCAI/SpatialBot.