HyperAIHyperAI

Command Palette

Search for a command to run...

EgoExoLearn : Un Jeu de Données pour Pontifier les Vues Égocentrique et Exocentrique Asynchrones des Activités Procédurales dans le Monde Réel

Résumé

La capacité de cartographier les activités d'autrui à partir de son propre point de vue est une compétence fondamentale humaine, même dès le plus jeune âge. Dans le but de mieux comprendre cette aptitude humaine, nous présentons EgoExoLearn, un ensemble de données à grande échelle qui imite le processus de suivi des démonstrations humaines, dans lequel des individus enregistrent des vidéos égocentriques lorsqu'ils exécutent des tâches guidées par des vidéos de démonstration. En mettant l'accent sur les applications potentielles dans l'assistance quotidienne et le soutien professionnel, EgoExoLearn contient des données vidéo égocentriques et de démonstration couvrant 120 heures capturées dans des scénarios de la vie quotidienne et des laboratoires spécialisés. Nous avons également enregistré des données oculaires de haute qualité et fourni des annotations multimodales détaillées, créant ainsi un terrain d'expérimentation pour modéliser la capacité humaine à relier des actions procédurales asynchrones provenant de différents points de vue. À cet effet, nous proposons des benchmarks tels que l'association inter-vues, la planification d'action inter-vues et l'évaluation inter-vues des compétences référencées, accompagnés d'une analyse détaillée. Nous espérons que EgoExoLearn pourra servir de ressource importante pour relier les actions entre différentes vues, ouvrant ainsi la voie à la création d'agents IA capables d'apprendre sans heurt en observant les humains dans le monde réel. Le code et les données sont disponibles à l'adresse suivante : https://github.com/OpenGVLab/EgoExoLearn


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp