HyperAIHyperAI
vor 17 Tagen

Skeleton-Graph: Langfristige 3D-Bewegungsvorhersage aus 2D-Beobachtungen mittels tiefer spatio-temporaler Graph-CNNs

Abduallah Mohamed, Huancheng Chen, Zhangyang Wang, Christian Claudel
Skeleton-Graph: Langfristige 3D-Bewegungsvorhersage aus 2D-Beobachtungen mittels tiefer spatio-temporaler Graph-CNNs
Abstract

Mehrere Anwendungen wie autonomes Fahren, erweiterte Realität und virtuelle Realität erfordern eine präzise Vorhersage der 3D-Gestalt des Menschen. Kürzlich wurde in diesem Bereich ein neues Problem eingeführt, nämlich die Vorhersage von 3D-Gesten aus beobachteten 2D-Gesten. Wir stellen Skeleton-Graph vor, ein tiefes spatio-temporales Graph-CNN-Modell, das zukünftige 3D-Skelett-Gesten in einem einzigen Durchlauf aus 2D-Gesten vorhersagt. Im Gegensatz zu früheren Ansätzen konzentriert sich Skeleton-Graph darauf, die Wechselwirkungen zwischen den Skelettgelenken durch Ausnutzung ihrer räumlichen Anordnung zu modellieren. Dies wird erreicht, indem das Problem als Graph-Struktur formuliert und ein geeigneter Graph-Nachbarschaftskern während des Lernprozesses erlernt wird. Aufgrund der Architektur weist Skeleton-Graph im Gegensatz zu vorherigen Ansätzen keine Divergenz bei der langfristigen Vorhersage auf. Außerdem führen wir eine neue Metrik ein, die die Divergenz der Vorhersagen im Langzeitverlauf misst. Unsere Ergebnisse zeigen eine Verbesserung der FDE um mindestens 27 % und eine Reduktion der ADE um 4 % auf beiden Datensätzen GTA-IM und PROX im Vergleich zu vorherigen Arbeiten. Zudem reduzieren wir die Divergenz bei der langfristigen Bewegungsvorhersage um 88 % bzw. 93 % im Vergleich zu vorherigen Ansätzen auf den Datensätzen GTA-IM und PROX. Der Quellcode ist unter https://github.com/abduallahmohamed/Skeleton-Graph.git verfügbar.

Skeleton-Graph: Langfristige 3D-Bewegungsvorhersage aus 2D-Beobachtungen mittels tiefer spatio-temporaler Graph-CNNs | Neueste Forschungsarbeiten | HyperAI