Skeleton-Graph : Prédiction à long terme de mouvements 3D à partir d'observations 2D en utilisant des CNNs spatio-temporelles profondes sur graphes

Plusieurs applications, telles que la conduite autonome, la réalité augmentée et la réalité virtuelle, nécessitent une prédiction précise de la posture 3D de l’humain. Récemment, un nouveau problème a été introduit dans ce domaine : la prédiction des postures 3D à partir de poses 2D observées. Nous proposons Skeleton-Graph, un modèle profond de réseaux de neurones convolutifs sur graphes spatio-temporels, capable de prédire les postures futures 3D du squelette en une seule passe à partir de poses 2D. Contrairement aux travaux antérieurs, Skeleton-Graph se concentre sur la modélisation des interactions entre les articulations du squelette en exploitant leur configuration spatiale. Cela est réalisé en reformulant le problème sous forme de structure de graphe tout en apprenant un noyau d’adjacence de graphe adapté. Grâce à cette architecture, Skeleton-Graph prédit les postures 3D futures sans divergence à long terme, contrairement aux approches antérieures. Nous introduisons également une nouvelle métrique pour mesurer la divergence des prédictions à long terme. Nos résultats montrent une amélioration de l’FDE d’au moins 27 % et une réduction de l’ADE de 4 % sur les deux jeux de données GTA-IM et PROX, par rapport aux méthodes antérieures. De plus, nous observons une réduction de 88 % et 93 % de divergence dans la prédiction du mouvement à long terme, respectivement sur les jeux de données GTA-IM et PROX, par rapport aux travaux antérieurs. Le code est disponible à l’adresse suivante : https://github.com/abduallahmohamed/Skeleton-Graph.git