Shouwei Ruan Liyuan Wang Caixin Kang Qihui Zhu Songming Liu Xingxing Wei Hang Su

Résumé

La cognition spatiale permet un comportement adaptatif orienté vers un objectif en construisant des modèles internes de l’espace. Les systèmes biologiques robustes structurent les connaissances spatiales en trois formes interconnectées : les repères pour des indices saillants, les connaissances de trajet pour les trajectoires de déplacement, et les connaissances de survol pour des représentations analogues à des cartes. Bien que les progrès récents dans les modèles linguistiques à grande échelle multimodaux (MLLM) aient permis le raisonnement visuel-langagier chez les agents incarnés, ces approches manquent de mémoire spatiale structurée et agissent de manière réactive, ce qui limite leur capacité d’adaptation et de généralisation dans des environnements réels complexes. Dans cet article, nous présentons BSC-Nav (Brain-inspired Spatial Cognition for Navigation), un cadre unifié pour construire et exploiter une mémoire spatiale structurée chez les agents incarnés. BSC-Nav construit des cartes cognitives allocentriques à partir de trajectoires égo-centrées et de cues contextuelles, et récupère dynamiquement des connaissances spatiales alignées avec des objectifs sémantiques. Intégré à des MLLM puissants, BSC-Nav atteint des performances et une efficacité de pointe sur une variété de tâches de navigation, démontre une forte généralisation zéro-shot, et permet des comportements incarnés polyvalents dans le monde physique réel, offrant ainsi une voie évolutive et fondée sur les principes biologiques vers une intelligence spatiale généraliste.