Command Palette
Search for a command to run...
Graph-gesteuerter MLP-Mixer für die menschliche Bewegungsvorhersage basierend auf Skelett-Daten
Graph-gesteuerter MLP-Mixer für die menschliche Bewegungsvorhersage basierend auf Skelett-Daten
Xinshun Wang Qiongjie Cui Chen Chen Shen Zhao Mengyuan Liu
Zusammenfassung
In den letzten Jahren wurden Graph Convolutional Networks (GCNs) weit verbreitet in der Vorhersage menschlicher Bewegungen eingesetzt, ihre Leistung bleibt jedoch unzureichend. Kürzlich wurde MLP-Mixer, ursprünglich für visuelle Aufgaben entwickelt, als vielversprechende Alternative zu GCNs in die menschliche Bewegungsvorhersage übernommen und erreicht dabei sowohl eine bessere Leistung als auch höhere Effizienz. Im Gegensatz zu GCNs, die die Knochen-Gelenk-Struktur des menschlichen Skeletts explizit erfassen können, indem sie diese als Graph mit Knoten und Kanten darstellen, stützt sich MLP-Mixer ausschließlich auf vollständig verbundene Schichten und kann daher die graphenartige Struktur des menschlichen Körpers nicht explizit modellieren. Um diese Einschränkung von MLP-Mixer zu überwinden, schlagen wir \textit{Graph-Guided Mixer} vor – einen neuartigen Ansatz, der der ursprünglichen MLP-Mixer-Architektur die Fähigkeit verleiht, graphenartige Strukturen zu modellieren. Durch die Integration von graphenbasierter Führung kann unser \textit{Graph-Guided Mixer} die spezifischen Verbindungsstrukturen innerhalb der graphischen Darstellung des menschlichen Skeletts effektiv erfassen und nutzen. In dieser Arbeit enthüllen wir zunächst eine bisher in der Forschung unerforschte theoretische Verbindung zwischen MLP-Mixer und GCN. Auf dieser theoretischen Grundlage präsentieren wir anschließend unseren vorgeschlagenen \textit{Graph-Guided Mixer} und erläutern, wie die ursprüngliche MLP-Mixer-Architektur neu gestaltet wird, um Anleitungen aus der graphenbasierten Struktur zu integrieren. Anschließend führen wir eine umfassende Evaluation auf den Datensätzen Human3.6M, AMASS und 3DPW durch, die zeigt, dass unsere Methode eine state-of-the-art-Leistung erreicht.