ODYSSEY : Exploration et manipulation des quadrupèdes dans un monde ouvert pour des tâches à horizon long

La manipulation mobile à horizon long guidée par le langage a longtemps constitué un défi majeur en matière de raisonnement sémantique incarné, de manipulation généralisable et de locomotion adaptative. Trois limites fondamentales entravent les progrès dans ce domaine : premièrement, bien que les grands modèles linguistiques aient amélioré le raisonnement spatial et la planification de tâches grâce à des connaissances sémantiques préalables, les implémentations actuelles restent confinées à des scénarios de table, sans relever les contraintes de perception ni les plages de commande limitées propres aux plateformes mobiles. Deuxièmement, les stratégies actuelles de manipulation présentent une généralisation insuffisante face à la diversité des configurations d’objets rencontrées dans des environnements ouverts. Troisièmement, bien que crucial pour un déploiement pratique, le double exigeant de maintenir une manœuvrabilité élevée de la plateforme tout en assurant un contrôle précis de l’effecteur final dans des environnements non structurés reste largement sous-étudié.Dans ce travail, nous présentons ODYSSEY, un cadre unifié de manipulation mobile destiné aux robots quadrupèdes agiles munis d’un bras manipulateur, qui intègre de manière fluide la planification de tâches de haut niveau avec le contrôle en temps réel du corps entier. Pour surmonter le défi de la perception égocentrique dans les tâches conditionnées par le langage, nous introduisons un planificateur hiérarchique alimenté par un modèle vision-langage, permettant une décomposition de longue portée des instructions et une exécution précise des actions. Au niveau du contrôle, notre politique originale du corps entier assure une coordination robuste sur des terrains difficiles. Nous proposons également la première évaluation benchmark pour la manipulation mobile à horizon long, évaluant divers scénarios intérieurs et extérieurs. Grâce à une transition réussie du simulateur à la réalité, nous démontrons la capacité de généralisation et la robustesse du système dans des déploiements réels, soulignant ainsi la faisabilité des manipulateurs à pattes dans des environnements non structurés. Ce travail avance la faisabilité de assistants robotiques généralisés capables d’exécuter des tâches complexes et dynamiques. Page du projet : https://kaijwang.github.io/odyssey.github.io/