SkeleMotion: Eine Neue Darstellung von Skelettgelenksequenzen auf Basis von Bewegungsinformationen für die 3D-Aktenerkennung

Aufgrund der Verfügbarkeit umfangreicher Skelettdatensätze hat die 3D-Erkennung menschlicher Bewegungen kürzlich die Aufmerksamkeit der Computer Vision Community auf sich gezogen. Viele Arbeiten haben sich darauf konzentriert, Skelettdaten als Skelettbildrepräsentationen zu kodieren, basierend auf der räumlichen Struktur der Skelettgelenke, wobei die zeitliche Dynamik der Sequenz als Variationen in den Spalten und die räumliche Struktur jedes Frames als Zeilen einer Matrix dargestellt wird. Um solche Repräsentationen weiter zu verbessern, stellen wir eine neue Skelettbildrepräsentation vor, die als Eingabe für Faltungsneuronale Netze (CNNs) verwendet werden soll und den Namen SkeleMotion trägt. Der vorgeschlagene Ansatz kodiert die zeitliche Dynamik durch explizites Berechnen des Betrags- und Orientierungswerts der Skelettgelenke. Verschiedene zeitliche Skalen werden angewendet, um Bewegungswerte zu berechnen, um mehr zeitliche Dynamik in die Repräsentation zu aggregieren und sie somit fähig zu machen, langreichweitige Gelenkinteraktionen bei Aktionen zu erfassen sowie verrauschte Bewegungswerte zu filtern. Experimentelle Ergebnisse zeigen die Effektivität der vorgeschlagenen Repräsentation bei der 3D-Aktionserkennung und übertreffen den Stand der Technik im NTU RGB+D 120 Datensatz.