Prédiction de mouvement humain consciente des contacts

Dans cet article, nous abordons la tâche de prédiction de mouvements 3D humains conscientes de la scène, qui consiste à prévoir les poses futures d’un humain à partir d’une scène 3D et d’un mouvement passé de l’humain. Un défi majeur de cette tâche réside dans le maintien de la cohérence entre l’humain et la scène, en tenant compte des interactions entre les deux. Les approches antérieures tentent de modéliser ces interactions de manière implicite, ce qui conduit fréquemment à des artefacts tels que des « mouvements fantômes » en raison du manque de contraintes explicites entre les poses locales et le mouvement global. À l’inverse, nous proposons ici de modéliser explicitement les contacts entre l’humain et la scène. Pour cela, nous introduisons des cartes de contact basées sur la distance, qui captent les relations de contact entre chaque articulation et chaque point de la scène 3D à chaque instant temporel. Nous développons ensuite une architecture en deux étapes : la première étape prédit les cartes de contact futures à partir des cartes passées et du nuage de points de la scène, tandis que la seconde étape prévoit les poses futures de l’humain en conditionnant celles-ci sur les cartes de contact prédites. Pendant l’entraînement, nous encourageons explicitement la cohérence entre le mouvement global et les poses locales grâce à un modèle a priori fondé sur les cartes de contact et les poses futures. Notre méthode surpasse les meilleures approches actuelles en prédiction de mouvements humains et en synthèse de mouvements, sur des jeux de données synthétiques comme réels. Le code est disponible à l’adresse suivante : https://github.com/wei-mao-2019/ContAwareMotionPred.