Ego4D ist ein umfangreicher First-Person-Videodatensatz. Der Datensatz enthält mehr als 3.025 Stunden Videomaterial von 73 verschiedenen Standorten in 9 Ländern, wobei insgesamt 855 Personen erfasst wurden.

Ego4D ist derzeit der größte Datensatz zu täglichen Aktivitätenvideos aus der Ich-Perspektive. Einige Aufnahmen enthalten auch Audiodaten, Daten darüber, wohin die Blicke der Teilnehmer gerichtet waren, und mehrere Perspektiven derselben Szene.

Dieser Datensatz bringt auch neue Benchmark-Herausforderungen mit sich:

• Episodisches Gedächtnis: Wo ist mein X?
• Hand-Objekt-Interaktion: Wie verändern sich Objekte während der Interaktion?
• Audiovisuelles Tagebuch: Wer hat was wann gesagt?
• Soziale Interaktion: Wer interagiert mit wem?
• Prognose: Was wird als nächstes passieren?