Un système visuel permet aux robots de comprendre leur propre corps

Un système développé par des chercheurs du laboratoire CSAIL du MIT permet aux robots d'acquérir une forme d'autocognition corporelle via la vision. Contrairement aux robots traditionnels qui dépendent de capteurs complexes ou de modèles prédéfinis, ce nouveau système, baptisé Neural Jacobian Fields (NJF), apprend à un robot comment son corps réagit aux commandes en se basant uniquement sur des images capturées par une caméra. Cet article, publié dans Nature le 25 juin, marque une évolution majeure dans le domaine du contrôle des robots, en remplaçant l'ingénierie manuelle par un apprentissage autonome. Le système NJF permet à un robot de se familiariser avec ses propres mouvements en effectuant des actions aléatoires et en observant les résultats via une caméra. Il n'a pas besoin de capteurs intégrés ni de modèles préalables. Cette méthode s'inspire de la façon dont les humains apprennent à contrôler leurs doigts en expérimentant et en s'adaptant. Les tests ont montré que le système fonctionne sur divers types de robots, y compris une main souple pneumatique, une main rigide, un bras imprimé en 3D et une plateforme tournante sans capteurs. Il est capable de reconstruire la forme du robot et de prédire ses mouvements en temps réel, grâce à un réseau neuronal qui modélise à la fois la géométrie 3D et la sensibilité aux commandes. Selon Sizhe Lester Li, doctorant au MIT et principal chercheur, cette approche marque un changement de paradigme : au lieu de programmer les robots, on les apprend à se contrôler eux-mêmes. Les robots NJF pourraient être utilisés dans des environnements variés, comme l'agriculture, les chantiers de construction ou des espaces dynamiques où les méthodes traditionnelles échouent. Leur capacité à fonctionner avec une seule caméra en fait un outil prometteur pour des applications où les capteurs coûteux ou les systèmes externes sont difficiles à déployer. Vincent Sitzmann, professeur au MIT et co-auteur, souligne que la vision est un capteur fiable et peu coûteux, ce qui rend les robots plus accessibles. Daniela Rus, également professeure et directrice de CSAIL, ajoute que cette méthode ouvre la voie à des robots capables de s'adapter à des environnements désordonnés sans infrastructure complexe. Bien que le système nécessite actuellement plusieurs caméras et soit spécifique à chaque robot, les chercheurs envisagent une version plus accessible, où un utilisateur pourrait enregistrer les mouvements d'un robot avec un téléphone et utiliser ces images pour créer un modèle de contrôle. Cependant, NJF ne s'applique pas encore à tous les robots, et son absence de capteurs de force ou de tactile limite son utilisation dans les tâches impliquant des contacts. Les équipes travaillent à améliorer sa généralisation et sa capacité à gérer des données incomplètes ou partiellement visibles. En résumé, le système NJF représente une avancée importante dans l'auto-apprentissage des robots, en leur offrant une compréhension intuitive de leur propre corps. Cela pourrait rendre la robotique plus flexible, accessible et adaptée aux défis du monde réel.