Prédiction du mouvement 3D multi-personnes avec des transformateurs multi-plages

Nous proposons un nouveau cadre pour la prédiction des trajectoires de mouvement 3D de plusieurs personnes. Notre observation clé est que les actions et comportements d'un individu peuvent fortement dépendre des autres personnes présentes dans son environnement. Par conséquent, au lieu de prédire chaque trajectoire de pose humaine de manière isolée, nous introduisons un modèle de Multi-Range Transformers comprenant un encodeur à portée locale pour le mouvement individuel et un encodeur à portée globale pour les interactions sociales. Le décodeur Transformer effectue ensuite la prédiction pour chaque personne en prenant une pose correspondante comme requête, qui s'attache aux caractéristiques des encodeurs à portée locale et globale. Notre modèle non seulement surpasse les méthodes de pointe en matière de prédiction à long terme du mouvement 3D, mais génère également des interactions sociales variées. De manière plus intéressante encore, notre modèle peut même prédire simultanément le mouvement de 15 personnes en les divisant automatiquement en différents groupes d'interaction. La page du projet avec le code est disponible à l'adresse suivante : https://jiashunwang.github.io/MRT/.