Estimation de la pose et de la forme humaines en 3D à partir de vidéos avec mécanisme d'attention auto-adaptative

Nous abordons la tâche d'estimer la posture et la forme humaines en 3D à partir de vidéos. Bien que les approches existantes basées sur les images aient réalisé des progrès significatifs, ces méthodes sont appliquées de manière indépendante à chaque image, ce qui entraîne souvent des prédictions incohérentes. Dans cette étude, nous présentons un algorithme d'apprentissage basé sur les vidéos pour l'estimation de la posture et de la forme humaines en 3D. Les principales contributions de notre méthode sont doubles. Premièrement, pour résoudre le problème des prédictions temporellement incohérentes, nous exploitons les informations temporelles contenues dans les vidéos et proposons un module d'auto-attention qui prend en compte conjointement les dépendances à court et à long terme entre les images, aboutissant ainsi à des estimations temporellement cohérentes. Deuxièmement, nous modélisons le mouvement humain avec un module de prédiction qui permet une transition fluide entre les images adjacentes. Nous évaluons notre méthode sur les jeux de données 3DPW, MPI-INF-3DHP et Human3.6M. Des résultats expérimentaux exhaustifs montrent que notre algorithme se compare favorablement aux méthodes de pointe actuelles.