L'ensemble de données a été publié conjointement par des institutions de premier plan telles que le Laboratoire d'intelligence artificielle de Shanghai, l'Université de Nanjing et les Instituts de technologie avancée de Shenzhen de l'Académie chinoise des sciences, ainsi que par des étudiants et des chercheurs de nombreuses universités, dont l'Université de Tokyo, l'Université Fudan, l'Université du Zhejiang et l'Université des sciences et technologies de Chine. EgoExoLearn vise à donner aux robots la capacité d'apprendre de nouvelles actions en observant les autres.

La particularité de l’ensemble de données EgoExoLearn est qu’il collecte des séquences vidéo à la fois à la première et à la troisième personne.La vidéo à la première personne enregistre l'intégralité du processus d'apprentissage des actions de démonstration à la troisième personne. Cette conversion et cette fusion de perspectives fournissent des ressources de données précieuses aux machines pour imiter les modèles d’apprentissage humains.

Le champ de construction de cet ensemble de données couvre non seulement divers scénarios de la vie quotidienne, mais inclut également des opérations complexes dans des laboratoires professionnels. EgoExoLearn contient un total de 120 heures de vidéos de perspective et de démonstration, visant à permettre aux machines d'apprendre efficacement dans une variété d'environnements.

En plus des vidéos, les chercheurs ont également enregistré des données de regard de haute qualité et fourni des annotations multimodales détaillées. Ces données, combinées à des annotations, constituent une plateforme qui simule de manière exhaustive le processus d’apprentissage humain, ce qui permet de résoudre le problème de la modélisation automatique des processus d’action asynchrones sous différents angles.

Afin d’évaluer de manière exhaustive la valeur de l’ensemble de données EgoExoLearn, les chercheurs ont proposé une série de tests de référence, tels que l’association inter-perspectives, la planification d’actions inter-perspectives et l’évaluation des compétences de référence inter-perspectives, et ont mené une analyse approfondie. À l’avenir, EgoExoLearn deviendra une pierre angulaire importante pour relier les actions inter-perspectives, fournissant un support solide aux robots pour apprendre de manière transparente les comportements humains dans le monde réel.