Les tâches auxiliaires favorisent la prévision du mouvement humain basée sur les squelettes 3D

L’exploration des dépendances spatio-temporelles à partir des mouvements observés constitue l’un des défis fondamentaux de la prédiction du mouvement humain. Les méthodes antérieures se concentrent principalement sur des architectures de réseaux dédiées afin de modéliser les dépendances spatiales et temporelles. Ce papier propose une nouvelle approche en introduisant un cadre d’apprentissage de modèles basé sur des tâches auxiliaires. Dans nos tâches auxiliaires, les coordonnées de certaines articulations corporelles sont altérées par masquage ou ajout de bruit, et l’objectif consiste à restaurer les coordonnées altérées à partir des coordonnées restantes. Pour traiter efficacement ces tâches auxiliaires, nous proposons un nouveau modèle, le transformer adapté aux tâches auxiliaires, capable de gérer des données de mouvement incomplètes ou corrompues, et de réaliser la récupération des coordonnées grâce à la capture des dépendances spatio-temporelles. Grâce à ces tâches auxiliaires, le transformer adapté aux tâches auxiliaires est encouragé à capturer des dépendances spatio-temporelles plus complètes entre les coordonnées des articulations, conduisant à une meilleure apprentissage de caractéristiques. Les résultats expérimentaux abondants montrent que notre méthode surpasser les méthodes de pointe avec des marges significatives de 7,2 %, 3,7 % et 9,4 % en termes d’erreur moyenne par articulation en 3D (MPJPE) sur les jeux de données Human3.6M, CMU Mocap et 3DPW, respectivement. Nous démontrons également que notre méthode est plus robuste face aux cas de données manquantes ou bruitées. Le code source est disponible à l’adresse suivante : https://github.com/MediaBrain-SJTU/AuxFormer.