HyperAIHyperAI

Command Palette

Search for a command to run...

Mehrpersonen-3D-Bewegungsvorhersage mit Multireichwe-Transformern

Jiashun Wang Huazhe Xu Medhini Narasimhan Xiaolong Wang

Zusammenfassung

Wir schlagen ein neues Framework für die Vorhersage von 3D-Bewegungstrajektorien mehrerer Personen vor. Unsere zentrale Beobachtung ist, dass das Verhalten einer Person stark von den umliegenden Personen abhängen kann. Daher führen wir anstelle der isolierten Vorhersage von Bewegungstrajektorien für jede einzelne Person ein Modell namens Multi-Range Transformers (MRT) ein. Dieses Modell besteht aus einem lokalen Encoder für individuelle Bewegungen und einem globalen Encoder für soziale Interaktionen. Der Transformer-Decoder führt dann die Vorhersage für jede Person durch, indem er eine entsprechende Pose als Abfrage verwendet, die sowohl auf lokale als auch auf globale Encoder-Features achtet. Unser Modell übertrifft nicht nur die besten bisherigen Methoden bei der langfristigen 3D-Bewegungsvorhersage, sondern generiert auch vielfältige soziale Interaktionen. Interessanterweise kann unser Modell sogar gleichzeitig die Bewegungen von 15 Personen vorhersagen, indem es diese automatisch in verschiedene Interaktionsgruppen einteilt. Die Projektseite mit dem Code ist unter https://jiashunwang.github.io/MRT/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp