Ego4D est un ensemble de données vidéo à la première personne à grande échelle. L'ensemble de données contient plus de 3 025 heures de vidéo enregistrées à partir de 73 endroits différents dans 9 pays, avec un total de 855 personnes enregistrées.

Ego4D est actuellement le plus grand ensemble de données vidéo d'activités quotidiennes à la première personne. Certaines séquences incluent également de l’audio, des données sur l’endroit où les regards des participants étaient focalisés et plusieurs perspectives de la même scène.

Cet ensemble de données introduit également de nouveaux défis de référence :

• Mémoire épisodique : Où est mon X ?
• Interaction main-objet : comment les objets changent-ils au cours de l'interaction ?
• Journal audiovisuel : Qui a dit quoi et quand ?
• Interaction sociale : qui interagit avec qui ?
• Prédiction : Que va-t-il se passer ensuite ?