VideoGraph: Erkennen von minutenlangen menschlichen Aktivitäten in Videos

Viele menschliche Aktivitäten entfalten sich innerhalb von Minuten. Um sie darzustellen, greifen einige verwandte Arbeiten auf statistische Pooling-Methoden zurück, die jedoch die zeitliche Struktur vernachlässigen. Andere Arbeiten setzen auf Faltungsverfahren wie CNN (Convolutional Neural Networks) und Non-Local, die zwar erfolgreich bei der Lernung zeitlicher Konzepte sind, aber Schwierigkeiten haben, Minuten-dauernde zeitliche Abhängigkeiten zu modellieren. Wir schlagen VideoGraph vor, eine Methode, die das Beste aus beiden Welten vereint: die Darstellung von Minuten-dauernden menschlichen Aktivitäten und das Lernen ihrer zugrundeliegenden zeitlichen Struktur. VideoGraph lernt eine graphbasierte Darstellung für menschliche Aktivitäten. Der Graph sowie seine Knoten und Kanten werden vollständig aus Videodatenbanken gelernt, was VideoGraph auch für Probleme ohne knotenbasierte Annotation anwendbar macht. Das Ergebnis sind Verbesserungen gegenüber verwandten Arbeiten in Benchmarks wie Epic-Kitchens und Breakfast. Zudem zeigen wir, dass VideoGraph in der Lage ist, die zeitliche Struktur von menschlichen Aktivitäten in Minuten-dauernden Videos zu lernen.