EgoExoLearn : Un Jeu de Données pour Pontifier les Vues Égocentrique et Exocentrique Asynchrones des Activités Procédurales dans le Monde Réel

La capacité de cartographier les activités d'autrui à partir de son propre point de vue est une compétence fondamentale humaine, même dès le plus jeune âge. Dans le but de mieux comprendre cette aptitude humaine, nous présentons EgoExoLearn, un ensemble de données à grande échelle qui imite le processus de suivi des démonstrations humaines, dans lequel des individus enregistrent des vidéos égocentriques lorsqu'ils exécutent des tâches guidées par des vidéos de démonstration. En mettant l'accent sur les applications potentielles dans l'assistance quotidienne et le soutien professionnel, EgoExoLearn contient des données vidéo égocentriques et de démonstration couvrant 120 heures capturées dans des scénarios de la vie quotidienne et des laboratoires spécialisés. Nous avons également enregistré des données oculaires de haute qualité et fourni des annotations multimodales détaillées, créant ainsi un terrain d'expérimentation pour modéliser la capacité humaine à relier des actions procédurales asynchrones provenant de différents points de vue. À cet effet, nous proposons des benchmarks tels que l'association inter-vues, la planification d'action inter-vues et l'évaluation inter-vues des compétences référencées, accompagnés d'une analyse détaillée. Nous espérons que EgoExoLearn pourra servir de ressource importante pour relier les actions entre différentes vues, ouvrant ainsi la voie à la création d'agents IA capables d'apprendre sans heurt en observant les humains dans le monde réel. Le code et les données sont disponibles à l'adresse suivante : https://github.com/OpenGVLab/EgoExoLearn