Semantikgesteuerte neuronale Netze für effiziente skeletonbasierte Erkennung menschlicher Bewegungen

Die Erkennung menschlicher Aktionen auf der Grundlage von Skelettdaten hat dank der einfachen Zugänglichkeit solcher Daten großes Interesse gefunden. Kürzlich besteht eine Tendenz darin, sehr tiefe Feedforward-Neuronale Netze zu verwenden, um die 3D-Koordinaten von Gelenken zu modellieren, ohne dabei die Rechenleistungseffizienz zu berücksichtigen. In dieser Arbeit schlagen wir ein einfaches, aber effektives semantikgesteuertes neuronales Netzwerk (SGN) für die Aktionserkennung auf der Grundlage von Skelettdaten vor. Wir führen explizit die hochstufige Semantik von Gelenken (Gelenktyp und Bildindex) in das Netzwerk ein, um dessen Fähigkeit zur Merkmalsrepräsentation zu verbessern. Zudem nutzen wir die Beziehungen zwischen den Gelenken hierarchisch durch zwei Module: Ein Gelenkebene-Modul zur Modellierung der Korrelationen von Gelenken im gleichen Bild und ein Bildebene-Modul zur Modellierung der Abhängigkeiten zwischen Bildern, indem es die Gelenke im gleichen Bild als Ganzes betrachtet. Es wird eine starke Baseline vorgeschlagen, um die Forschung in diesem Bereich zu fördern. Mit einem Modellvolumen, das um einen Faktor zehn kleiner ist als bei den meisten früheren Arbeiten, erreicht das SGN den aktuellen Stand der Technik auf den Datensätzen NTU60, NTU120 und SYSU. Der Quellcode ist unter https://github.com/microsoft/SGN verfügbar.