HyperAIHyperAI

Command Palette

Search for a command to run...

Hilfsaufgaben fördern die Vorhersage von 3D-Gesten basierend auf menschlichen Bewegungen

Chenxin Xu Robby T. Tan Yuhong Tan Siheng Chen Xinchao Wang Yanfeng Wang

Zusammenfassung

Die Erforschung räumlich-zeitlicher Abhängigkeiten aus beobachteten Bewegungen stellt eine zentrale Herausforderung der menschlichen Bewegungsvorhersage dar. Bisherige Ansätze konzentrieren sich hauptsächlich auf spezialisierte Netzwerkarchitekturen zur Modellierung räumlicher und zeitlicher Abhängigkeiten. In diesem Artikel wird ein neuer Ansatz verfolgt, indem ein Modell-Lernframework mit Hilfsaufgaben eingeführt wird. In unseren Hilfsaufgaben werden die Koordinaten einzelner Körpergelenke entweder maskiert oder durch Rauschen verfälscht, und das Ziel besteht darin, die beschädigten Koordinaten basierend auf den verbleibenden Koordinaten wiederherzustellen. Um mit diesen Hilfsaufgaben arbeiten zu können, schlagen wir einen neuartigen, auf Hilfsaufgaben angepassten Transformer vor, der unvollständige, verfälschte Bewegungsdaten verarbeiten und durch die Erfassung räumlich-zeitlicher Abhängigkeiten die Koordinatenwiederherstellung erreichen kann. Durch die Einbindung der Hilfsaufgaben wird der auf Hilfsaufgaben angepasste Transformer dazu angeregt, umfassendere räumlich-zeitliche Abhängigkeiten zwischen den Gelenkkooordinaten zu erfassen, was zu einer verbesserten Merkmalslernleistung führt. Ausführliche experimentelle Ergebnisse zeigen, dass unsere Methode die Stand-of-the-Art-Methoden in Bezug auf den 3D-Mittelwert der Gelenkpositionsfehler (MPJPE) auf den Datensätzen Human3.6M, CMU Mocap und 3DPW um beachtliche 7,2 %, 3,7 % und 9,4 % übertrifft. Außerdem demonstrieren wir, dass unsere Methode auch unter Bedingungen von fehlenden Daten und verrauschten Daten robuster ist. Der Quellcode ist unter https://github.com/MediaBrain-SJTU/AuxFormer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp