Un autoencodeur masqué unifié avec des squelettes patchifiés pour la synthèse de mouvements

La synthèse du mouvement humain a traditionnellement été abordée à l’aide de modèles spécifiques à une tâche, axés sur des défis particuliers tels que la prédiction du mouvement futur ou le remplissage des poses intermédiaires conditionnées à des poses clés connues. Dans ce papier, nous proposons un nouveau modèle indépendant de la tâche, appelé UNIMASK-M, capable de traiter efficacement ces défis grâce à une architecture unifiée. Notre modèle atteint des performances comparables ou supérieures à l’état de l’art dans chaque domaine. Inspiré par les Vision Transformers (ViTs), notre modèle UNIMASK-M décompose une posture humaine en parties corporelles afin d’exploiter les relations spatio-temporelles présentes dans le mouvement humain. En outre, nous reformulons diverses tâches de synthèse de mouvement conditionnées à des postures comme un problème de reconstruction, avec des motifs de masquage différents fournis en entrée. En informant explicitement notre modèle sur les articulations masquées, UNIMASK-M devient plus robuste aux occlusions. Les résultats expérimentaux montrent que notre modèle parvient avec succès à prédire le mouvement humain sur le jeu de données Human3.6M. De plus, il obtient des résultats de pointe dans la tâche d’interpolation de mouvement sur le jeu de données LaFAN1, en particulier pendant les périodes de transition longues. Pour plus d’informations, rendez-vous sur le site du projet : https://evm7.github.io/UNIMASKM-page/