Apprentissage résiduel multiscale de morceaux séquentiels de convolution de graphe pour la prédiction du mouvement humain

Une nouvelle méthode est proposée pour la prédiction du mouvement humain en apprenant les dépendances temporelles et spatiales. Récemment, des graphes multiscales ont été développés afin de modéliser le corps humain à des niveaux d'abstraction plus élevés, conduisant à des prédictions de mouvement plus stables. Toutefois, les méthodes actuelles fixent a priori les niveaux d'échelle et combinent des articulations spatialement proches pour générer des échelles plus grossières sur la base de connaissances préalables sur l'anatomie humaine, bien que les motifs de mouvement dans différentes séquences varient considérablement et ne s'alignent pas toujours avec un graphe fixe reliant des articulations spatialement. Un autre problème des méthodes basées sur les réseaux de convolution de graphe réside dans le phénomène de « collapse de modes », où les poses prédites convergent vers une pose moyenne sans mouvement discernable, particulièrement dans les prédictions à long terme. Pour relever ces défis, nous proposons ResChunk, un réseau end-to-end qui explore dynamiquement les composantes du corps corrélées en se basant sur les relations par paires entre toutes les articulations au sein de chaque séquence. ResChunk est entraîné pour apprendre les résidus entre des segments de séquence cible de manière autoregressive, afin de renforcer les connexions temporelles entre segments consécutifs. Il s'agit donc d'un modèle de prédiction séquence-à-séquence prenant en compte les caractéristiques spatio-temporelles dynamiques des séquences à plusieurs échelles. Nos expériences sur deux jeux de données de référence exigeants, CMU Mocap et Human3.6M, démontrent que notre méthode est capable de modéliser efficacement l'information séquentielle pour la prédiction du mouvement et surpasse les techniques existantes, établissant ainsi un nouveau record d'état de l'art. Le code est disponible à l'adresse suivante : https://github.com/MohsenZand/ResChunk.