Prédiction de mouvement humain global à étape prise en compte les contacts

La prévision de mouvement humain global consciente du contexte scénique est essentielle pour un large éventail d’applications, notamment la réalité virtuelle, la robotique et le sport. Cette tâche consiste à combiner la prévision de la trajectoire humaine et de la posture dans un contexte scénique donné, ce qui représente un défi majeur.À ce jour, seule l’approche de Mao et al. (NeurIPS’22) a abordé la prévision de mouvement humain global consciente du contexte, en chaînant la prédiction des points de contact futurs dans la scène et l’estimation du mouvement global. Cette dernière est réalisée par une prédiction end-to-end des trajectoires et des postures futures. Toutefois, cette approche end-to-end contredit la nature grossier-vers-fin de la tâche, ce qui se traduit par une performance inférieure, comme nous le démontrons empiriquement ici.Nous proposons STAG (STaged contact-aware Global human motion forecasting), une nouvelle architecture en trois étapes pour la prédiction du mouvement humain global dans un environnement 3D. Premièrement, nous considérons la scène et les interactions humaines respectives comme des points de contact. Deuxièmement, nous modélisons la prédiction de la trajectoire humaine dans la scène, en estimant la motion grossière du corps humain dans son ensemble. Enfin, à la troisième et dernière étape, nous associons une motion fine des articulations humaines plausible afin de compléter la trajectoire, en tenant compte des contacts estimés.Par rapport aux méthodes de l’état de l’art (SoA), STAG atteint une amélioration globale de 1,8 % pour la prédiction de posture et de 16,2 % pour la prédiction de trajectoire, sur le jeu de données GTA-IM conscient du contexte. Une étude d’ablation approfondie confirme les avantages de la modélisation en étapes par rapport aux approches end-to-end. En outre, nous mettons en évidence l’importance d’un nouveau compteur temporel proposé, nommé « time-to-go », qui indique le temps restant avant d’atteindre un point de contact ou une destination scénique. Notamment, STAG démontre sa capacité à généraliser à des jeux de données ne disposant pas de contexte scénique, atteignant ainsi une nouvelle performance de l’état de l’art sur CMU-Mocap, sans utiliser aucune information sociale. Le code source est disponible à l’adresse suivante : https://github.com/L-Scofano/STAG