HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen, egozentrische Aktionen durch Imagination vorherzusehen

Yu Wu Linchao Zhu Xiaohan Wang Yi Yang Fei Wu

Zusammenfassung

Die Vorhersage von Aktionen, bevor sie ausgeführt werden, ist entscheidend für eine Vielzahl praktischer Anwendungen, darunter autonomes Fahren und Robotik. In diesem Paper untersuchen wir die egozentrische Aktion-Vorhersage-Aufgabe, bei der zukünftige Aktionen Sekunden vor ihrer Ausführung für egozentrische Videos vorhergesagt werden. Bisherige Ansätze konzentrieren sich darauf, den beobachteten Inhalt zu summarisieren und die zukünftige Aktion direkt auf Basis vergangener Beobachtungen vorherzusagen. Wir gehen davon aus, dass die Aktion-Vorhersage durch die Extraktion von Hinweisen zur Kompensation fehlender Informationen aus nicht beobachteten Frames verbessert werden könnte. Daraus leiten wir die Idee ab, die Aktion-Vorhersage in eine Reihe von zukünftigen Merkmalsvorhersagen zu zerlegen. Wir stellen uns vor, wie sich das visuelle Merkmal in naher Zukunft verändert, und prognostizieren anschließend die zukünftigen Aktionen basierend auf diesen imaginären Darstellungen. Im Gegensatz dazu wird unser ImagineRNN im Sinne eines contrastiven Lernens optimiert, anstatt Merkmale durch Regression vorherzusagen. Wir nutzen eine Hilfsaufgabe, um das ImagineRNN zu trainieren, nämlich die Auswahl des korrekten zukünftigen Zustands aus mehreren Störungen. Darüber hinaus verbessern wir ImagineRNN durch residuelle Vorhersage, indem wir das Ziel darauf verlegen, die Merkmalsdifferenz benachbarter Frames statt des Frames selbst vorherzusagen. Dies fördert, dass das Netzwerk sich auf das eigentliche Ziel konzentriert, nämlich die zukünftige Aktion, da die Differenz zwischen den Merkmalen benachbarter Frames für die Vorhersage der Zukunft von größerer Bedeutung ist. Umfangreiche Experimente an zwei großen egozentrischen Aktion-Datensätzen bestätigen die Wirksamkeit unseres Ansatzes. Unser Verfahren übertrifft sowohl auf dem sichtbaren als auch auf dem unsichtbaren Testset der EPIC Kitchens Action Anticipation Challenge deutlich vorherige Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Lernen, egozentrische Aktionen durch Imagination vorherzusehen | Paper | HyperAI