Command Palette
Search for a command to run...
Aktionserkennung mit Bewegungsdiversifizierung und dynamischer Auswahl
Aktionserkennung mit Bewegungsdiversifizierung und dynamischer Auswahl
Wanli Ouyang Yali Wang Zhiyong Wang Ding Liang Lei Bai Luping Zhou Zhipeng Yu Yu Guo Peiqin Zhuang
Zusammenfassung
Die Modellierung von Bewegung ist entscheidend für moderne Methoden zur Aktionserkennung. Da sich Bewegungsdynamiken wie Bewegungstempo und Aktionsamplitude in verschiedenen Videoclips erheblich unterscheiden können, stellt dies eine große Herausforderung dar, angemessene Bewegungsinformationen adaptiv zu erfassen. Um dieses Problem anzugehen, führen wir ein Motion Diversification and Selection (MoDS)-Modul ein, das diversifizierte räumlich-zeitliche Bewegungsmerkmale generiert und anschließend dynamisch die geeignete Bewegungsdarstellung zur Klassifikation des Eingabevideos auswählt. Konkret schlagen wir zunächst ein räumlich-zeitliches Bewegungsgenerierungsmodul (StMG) vor, das einen Pool diversifizierter Bewegungsmerkmale mit variierenden räumlichen Nachbarschaften und Zeiträumen aufbaut. Anschließend wird ein dynamisches Bewegungsauswahlmodul (DMS) eingesetzt, um aus diesem Merkmalspool das aussagekräftigste Bewegungsmerkmal sowohl räumlich als auch zeitlich zu identifizieren. Dadurch kann unsere vorgeschlagene Methode die diversifizierten räumlich-zeitlichen Bewegungsinformationen optimal nutzen, während gleichzeitig die Recheneffizienz im Inferenzstadium gewahrt bleibt. Umfassende Experimente an fünf etablierten Benchmarks belegen die Wirksamkeit der Methode, wobei wir state-of-the-art-Ergebnisse auf Something-Something V1 & V2 erzielen, die durch eine hohe Variabilität der Bewegungen gekennzeichnet sind.