Hilfsaufgaben fördern die Vorhersage von 3D-Gesten basierend auf menschlichen Bewegungen

Die Erforschung räumlich-zeitlicher Abhängigkeiten aus beobachteten Bewegungen stellt eine zentrale Herausforderung der menschlichen Bewegungsvorhersage dar. Bisherige Ansätze konzentrieren sich hauptsächlich auf spezialisierte Netzwerkarchitekturen zur Modellierung räumlicher und zeitlicher Abhängigkeiten. In diesem Artikel wird ein neuer Ansatz verfolgt, indem ein Modell-Lernframework mit Hilfsaufgaben eingeführt wird. In unseren Hilfsaufgaben werden die Koordinaten einzelner Körpergelenke entweder maskiert oder durch Rauschen verfälscht, und das Ziel besteht darin, die beschädigten Koordinaten basierend auf den verbleibenden Koordinaten wiederherzustellen. Um mit diesen Hilfsaufgaben arbeiten zu können, schlagen wir einen neuartigen, auf Hilfsaufgaben angepassten Transformer vor, der unvollständige, verfälschte Bewegungsdaten verarbeiten und durch die Erfassung räumlich-zeitlicher Abhängigkeiten die Koordinatenwiederherstellung erreichen kann. Durch die Einbindung der Hilfsaufgaben wird der auf Hilfsaufgaben angepasste Transformer dazu angeregt, umfassendere räumlich-zeitliche Abhängigkeiten zwischen den Gelenkkooordinaten zu erfassen, was zu einer verbesserten Merkmalslernleistung führt. Ausführliche experimentelle Ergebnisse zeigen, dass unsere Methode die Stand-of-the-Art-Methoden in Bezug auf den 3D-Mittelwert der Gelenkpositionsfehler (MPJPE) auf den Datensätzen Human3.6M, CMU Mocap und 3DPW um beachtliche 7,2 %, 3,7 % und 9,4 % übertrifft. Außerdem demonstrieren wir, dass unsere Methode auch unter Bedingungen von fehlenden Daten und verrauschten Daten robuster ist. Der Quellcode ist unter https://github.com/MediaBrain-SJTU/AuxFormer verfügbar.