Lernen, egozentrische Aktionen durch Imagination vorherzusehen

Die Vorhersage von Aktionen, bevor sie ausgeführt werden, ist entscheidend für eine Vielzahl praktischer Anwendungen, darunter autonomes Fahren und Robotik. In diesem Paper untersuchen wir die egozentrische Aktion-Vorhersage-Aufgabe, bei der zukünftige Aktionen Sekunden vor ihrer Ausführung für egozentrische Videos vorhergesagt werden. Bisherige Ansätze konzentrieren sich darauf, den beobachteten Inhalt zu summarisieren und die zukünftige Aktion direkt auf Basis vergangener Beobachtungen vorherzusagen. Wir gehen davon aus, dass die Aktion-Vorhersage durch die Extraktion von Hinweisen zur Kompensation fehlender Informationen aus nicht beobachteten Frames verbessert werden könnte. Daraus leiten wir die Idee ab, die Aktion-Vorhersage in eine Reihe von zukünftigen Merkmalsvorhersagen zu zerlegen. Wir stellen uns vor, wie sich das visuelle Merkmal in naher Zukunft verändert, und prognostizieren anschließend die zukünftigen Aktionen basierend auf diesen imaginären Darstellungen. Im Gegensatz dazu wird unser ImagineRNN im Sinne eines contrastiven Lernens optimiert, anstatt Merkmale durch Regression vorherzusagen. Wir nutzen eine Hilfsaufgabe, um das ImagineRNN zu trainieren, nämlich die Auswahl des korrekten zukünftigen Zustands aus mehreren Störungen. Darüber hinaus verbessern wir ImagineRNN durch residuelle Vorhersage, indem wir das Ziel darauf verlegen, die Merkmalsdifferenz benachbarter Frames statt des Frames selbst vorherzusagen. Dies fördert, dass das Netzwerk sich auf das eigentliche Ziel konzentriert, nämlich die zukünftige Aktion, da die Differenz zwischen den Merkmalen benachbarter Frames für die Vorhersage der Zukunft von größerer Bedeutung ist. Umfangreiche Experimente an zwei großen egozentrischen Aktion-Datensätzen bestätigen die Wirksamkeit unseres Ansatzes. Unser Verfahren übertrifft sowohl auf dem sichtbaren als auch auf dem unsichtbaren Testset der EPIC Kitchens Action Anticipation Challenge deutlich vorherige Methoden.