Command Palette
Search for a command to run...
Spatio-temporaler LSTM mit Vertrauensgattern für die 3D-Aktenerkennung menschlicher Bewegungen
Spatio-temporaler LSTM mit Vertrauensgattern für die 3D-Aktenerkennung menschlicher Bewegungen
Liu Jun Shahroudy Amir Xu Dong Wang Gang
Zusammenfassung
3D-Aktionserkennung – die Analyse menschlicher Aktionen basierend auf 3D-Skelett-Daten – gewinnt derzeit aufgrund ihrer Kürze, Robustheit und sichtunabhängigen Darstellung zunehmend an Beliebtheit. Neuere Ansätze zu diesem Problem schlagen vor, auf RNN-basierte Lernmethoden zurückzugreifen, um die kontextuelle Abhängigkeit im zeitlichen Bereich zu modellieren. In diesem Artikel erweitern wir diese Idee auf den spatio-temporalen Bereich, um gleichzeitig die versteckten Quellen von aktionsbezogener Information innerhalb der Eingabedaten über beide Domänen hinweg zu analysieren. Inspiriert durch die graphische Struktur des menschlichen Skeletts schlagen wir zudem eine leistungsfähigere, baumstruktur-basierte Durchlaufsstrategie vor. Um Rauschen und Verdeckung in 3D-Skelett-Daten zu bewältigen, führen wir eine neue Gating-Mechanismus innerhalb des LSTM ein, der die Zuverlässigkeit der sequenziellen Eingabedaten lernt und entsprechend deren Einfluss auf die Aktualisierung der langfristigen Kontextinformationen im Speicherzellen-Modell anpasst. Unser Ansatz erreicht state-of-the-art-Ergebnisse auf vier anspruchsvollen Benchmark-Datensätzen für die 3D-Analyse menschlicher Aktionen.