HyperAIHyperAI

Command Palette

Search for a command to run...

SpatialBot : Une compréhension spatiale précise à l’aide de modèles vision-langage

Wenxiao Cai Iaroslav Ponomarenko Jianhao Yuan Xiaoqi Li Wankou Yang Hao Dong Bo Zhao

Résumé

Les modèles vision-langage (VLM) ont atteint des performances remarquables dans l’interprétation d’images 2D, mais ils peinent encore à comprendre l’espace, qui constitue la base de l’intelligence artificielle incarnée (Embodied AI). Dans cet article, nous proposons SpatialBot, un modèle conçu pour améliorer la compréhension spatiale en alimentant le système à la fois avec des images RGB et des images de profondeur. Par ailleurs, nous avons construit le jeu de données SpatialQA, comprenant des questions à plusieurs niveaux liées à la profondeur, afin d’entraîner les VLM à mieux comprendre les informations de profondeur. Enfin, nous présentons SpatialBench, une plateforme d’évaluation complète permettant d’analyser de manière fine les capacités des VLM dans la compréhension spatiale à différents niveaux. Des expériences étendues sur notre benchmark de compréhension spatiale, ainsi que sur des benchmarks généraux de VLM et des tâches d’IA incarnée, démontrent de manière significative les améliorations apportées par SpatialBot entraîné sur SpatialQA. Le modèle, le code source et les données sont disponibles à l’adresse suivante : https://github.com/BAAI-DCAI/SpatialBot.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp