Données EgoExplorer pour entraîner des robots humanoïdes

Des chercheurs du Shanghai AI Laboratory, de la Zhejiang University et de la Shanghai Jiao Tong University ont présenté EgoExplorer, un système portable destiné à collecter des données de démonstration humaines pour entraîner des robots humanoïdes. Présenté dans un article préliminaire disponible sur arXiv, le dispositif vise à mieux capturer la manière dont les humains coordonnent leurs déplacements, leur posture et leurs gestes lors de tâches professionnelles ou quotidiennes. Le système combine une caméra de première personne GoPro HERO13, cinq capteurs de mouvement VIVE Ultimate Trackers, des gants sensoriels MANUS Metagloves ou Wuji, ainsi que des supports imprimés en 3D. La caméra enregistre la scène depuis le point de vue de la personne qui porte l’équipement. Les capteurs placés sur la tête, les mains et les chevilles suivent la position et l’orientation du corps, tandis que les gants observent les mouvements fins des doigts. Certains gants captent également des informations tactiles. Ces données sont ensuite reliées à des descriptions étape par étape des activités réalisées. À partir de ce système, l’équipe a collecté 100 heures d’activités humaines et constitué une base de données multimodale incluant vidéo subjective, mouvement corporel reconstruit, articulation des doigts et observations tactiles. Pour transformer ces mesures en trajectoires complètes du corps, les chercheurs ont développé un processus nommé Calibrate-Complete-Constrain. Il corrige d’abord les écarts liés à la fixation des capteurs, puis estime les mouvements des articulations non directement suivies grâce à des modèles d’apprentissage, avant de vérifier que les reconstructions restent cohérentes avec les données, stables dans le temps et conformes à la morphologie de la personne. Selon l’étude, cette méthode réduit de 71,9 % l’erreur de position corporelle par rapport à la meilleure référence existante. Elle améliore aussi la stabilité des mains et l’estimation des contacts. Des expériences initiales montrent que générer simultanément la vidéo, le mouvement et les informations tactiles donne de meilleurs résultats qu’un traitement séparé de chaque modalité. Les chercheurs ont également entraîné un contrôleur pour un robot humanoïde simulé Unitree G1, en lui faisant reproduire des mouvements issus de deux démonstrations humaines. Dans l’environnement virtuel, le robot a suivi les séquences sans tomber. Ces résultats restent toutefois préliminaires : l’interaction précise avec les objets et la performance sur des tâches inconnues n’ont pas été démontrées, et le système n’a pas encore été testé sur un robot physique. À terme, EgoExplorer pourrait servir à entraîner d’autres contrôleurs de robots humanoïdes en simulation. Les données collectées devraient notamment aider les machines à mieux comprendre comment bouger, saisir et utiliser des objets dans des environnements variés, une capacité essentielle pour les assister dans des tâches complexes du monde réel.