Pose Transformers (POTR): Vorhersage menschlicher Bewegungen mit nicht-autoregressiven Transformers

Wir schlagen vor, Transformer-Architekturen für die nicht-autoregressive Vorhersage menschlicher Bewegungen zu nutzen. Unser Ansatz decodiert die Elemente parallel aus einer Abfrage-Sequenz, anstatt wie state-of-the-art RNN-basierte Ansätze auf vorherigen Vorhersagen zu konditionieren. Auf diese Weise ist unser Ansatz rechnerisch weniger aufwendig und vermeidet potenziell die Akkumulation von Fehlern über lange Sequenzabschnitte hinweg. In diesem Kontext erbringen wir vier Beiträge: (i) Wir formulieren die Vorhersage menschlicher Bewegungen als ein Sequenz-zu-Sequenz-Problem und schlagen einen nicht-autoregressiven Transformer vor, um die Folge von Körperhaltungen parallel zu inferieren; (ii) Wir schlagen vor, Sequenzen dreidimensionaler Haltungen aus einer im Voraus generierten Abfrage-Sequenz abzuleiten, die Elemente aus der Eingabesequenz enthält; (iii) Wir schlagen vor, eine gelenkbasierende Aktivitätsklassifikation aus dem Encoder-Speicher durchzuführen, mit der Hoffnung, dass die Aktivitätserkennung die Vorhersagen verbessern kann; (iv) Wir zeigen, dass unser Ansatz trotz seiner Einfachheit auf zwei öffentlichen Datensätzen konkurrenzfähige Ergebnisse erzielt, wobei er überraschenderweise insbesondere für kurzfristige Vorhersagen besser abschneidet als für langfristige.