HyperAIHyperAI

Command Palette

Search for a command to run...

Skeleton-Graph: Langfristige 3D-Bewegungsvorhersage aus 2D-Beobachtungen mittels tiefer spatio-temporaler Graph-CNNs

Abduallah Mohamed Huancheng Chen Zhangyang Wang Christian Claudel

Zusammenfassung

Mehrere Anwendungen wie autonomes Fahren, erweiterte Realität und virtuelle Realität erfordern eine präzise Vorhersage der 3D-Gestalt des Menschen. Kürzlich wurde in diesem Bereich ein neues Problem eingeführt, nämlich die Vorhersage von 3D-Gesten aus beobachteten 2D-Gesten. Wir stellen Skeleton-Graph vor, ein tiefes spatio-temporales Graph-CNN-Modell, das zukünftige 3D-Skelett-Gesten in einem einzigen Durchlauf aus 2D-Gesten vorhersagt. Im Gegensatz zu früheren Ansätzen konzentriert sich Skeleton-Graph darauf, die Wechselwirkungen zwischen den Skelettgelenken durch Ausnutzung ihrer räumlichen Anordnung zu modellieren. Dies wird erreicht, indem das Problem als Graph-Struktur formuliert und ein geeigneter Graph-Nachbarschaftskern während des Lernprozesses erlernt wird. Aufgrund der Architektur weist Skeleton-Graph im Gegensatz zu vorherigen Ansätzen keine Divergenz bei der langfristigen Vorhersage auf. Außerdem führen wir eine neue Metrik ein, die die Divergenz der Vorhersagen im Langzeitverlauf misst. Unsere Ergebnisse zeigen eine Verbesserung der FDE um mindestens 27 % und eine Reduktion der ADE um 4 % auf beiden Datensätzen GTA-IM und PROX im Vergleich zu vorherigen Arbeiten. Zudem reduzieren wir die Divergenz bei der langfristigen Bewegungsvorhersage um 88 % bzw. 93 % im Vergleich zu vorherigen Ansätzen auf den Datensätzen GTA-IM und PROX. Der Quellcode ist unter https://github.com/abduallahmohamed/Skeleton-Graph.git verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp