Command Palette
Search for a command to run...
Einen aufmerksamkeitsgestärkten Graph-LSTM-Netzwerk für die Aktionserkennung basierend auf Skelettdaten
Einen aufmerksamkeitsgestärkten Graph-LSTM-Netzwerk für die Aktionserkennung basierend auf Skelettdaten
Chenyang Si; Wentao Chen; Wei Wang; Liang Wang; Tieniu Tan
Zusammenfassung
Die Skelettbasierte Aktenerkennung ist eine wichtige Aufgabe, die ein angemessenes Verständnis der Bewegungscharakteristiken einer menschlichen Aktion aus der gegebenen Skelettsequenz erfordert. Neuere Studien haben gezeigt, dass das Erkunden von räumlichen und zeitlichen Merkmalen der Skelettsequenz für diese Aufgabe entscheidend ist. Dennoch bleibt es weiterhin eine herausfordernde Aufgabe, wie man diskriminierende räumliche und zeitliche Merkmale effektiv extrahieren kann. In dieser Arbeit schlagen wir ein neues Attention Enhanced Graph Convolutional LSTM Netzwerk (AGC-LSTM) vor, um menschliche Aktionen aus Skelettdaten zu erkennen. Das vorgeschlagene AGC-LSTM kann nicht nur diskriminierende Merkmale in der räumlichen Konfiguration und den zeitlichen Dynamiken erfassen, sondern auch die Koexistenzbeziehung zwischen den räumlichen und zeitlichen Bereichen untersuchen. Wir stellen außerdem eine temporäre hierarchische Architektur vor, die die zeitlichen Rezeptivfelder der obersten AGC-LSTM-Schicht vergrößert, was die Fähigkeit zur Lernung hochstufiger semantischer Darstellungen erhöht und gleichzeitig die Rechenkosten erheblich reduziert. Des Weiteren wird ein Aufmerksamkeitsmechanismus verwendet, um in jeder AGC-LSTM-Schicht die Informationen über Schlüsselgelenke zu verstärken und so diskriminierende räumliche Informationen auszuwählen. Experimentelle Ergebnisse werden auf zwei Datensätzen präsentiert: dem NTU RGB+D-Datensatz und dem Northwestern-UCLA-Datensatz. Die Vergleichsergebnisse belegen die Effektivität unseres Ansatzes und zeigen, dass unser Ansatz auf beiden Datensätzen den Stand der Technik übertreffen kann.