Mehrpersonen-3D-Bewegungsvorhersage mit Multireichwe-Transformern

Wir schlagen ein neues Framework für die Vorhersage von 3D-Bewegungstrajektorien mehrerer Personen vor. Unsere zentrale Beobachtung ist, dass das Verhalten einer Person stark von den umliegenden Personen abhängen kann. Daher führen wir anstelle der isolierten Vorhersage von Bewegungstrajektorien für jede einzelne Person ein Modell namens Multi-Range Transformers (MRT) ein. Dieses Modell besteht aus einem lokalen Encoder für individuelle Bewegungen und einem globalen Encoder für soziale Interaktionen. Der Transformer-Decoder führt dann die Vorhersage für jede Person durch, indem er eine entsprechende Pose als Abfrage verwendet, die sowohl auf lokale als auch auf globale Encoder-Features achtet. Unser Modell übertrifft nicht nur die besten bisherigen Methoden bei der langfristigen 3D-Bewegungsvorhersage, sondern generiert auch vielfältige soziale Interaktionen. Interessanterweise kann unser Modell sogar gleichzeitig die Bewegungen von 15 Personen vorhersagen, indem es diese automatisch in verschiedene Interaktionsgruppen einteilt. Die Projektseite mit dem Code ist unter https://jiashunwang.github.io/MRT/ verfügbar.