MLP-Mixer guidé par graphe pour la prédiction de mouvement humain basée sur les squelettes

Ces dernières années, les réseaux de convolution sur graphe (Graph Convolutional Networks, GCN) ont été largement utilisés pour la prédiction du mouvement humain, mais leurs performances restent insatisfaisantes. Récemment, MLP-Mixer, initialement conçu pour des tâches de vision par ordinateur, a été adopté dans le domaine de la prédiction du mouvement humain en tant qu’alternative prometteuse aux GCN, offrant à la fois de meilleures performances et une meilleure efficacité. Contrairement aux GCN, qui peuvent capturer explicitement la structure osseuse-jointe du squelette humain en le représentant sous forme de graphe à nœuds et arêtes, MLP-Mixer repose sur des couches entièrement connectées et ne peut donc pas modéliser explicitement cette structure de type graphe. Pour surmonter cette limitation de MLP-Mixer, nous proposons \textit{Graph-Guided Mixer}, une nouvelle approche qui confère à l’architecture originale de MLP-Mixer la capacité de modéliser des structures de graphe. Grâce à une guidance graphique, notre \textit{Graph-Guided Mixer} parvient à capturer efficacement et à exploiter les motifs spécifiques de connectivité présents dans la représentation graphique du squelette humain. Dans cet article, nous mettons d’abord en évidence une connexion théorique entre MLP-Mixer et GCN, jusqu’ici inexplorée dans la recherche existante. Sur la base de cette connexion théorique, nous présentons ensuite notre proposition \textit{Graph-Guided Mixer}, en expliquant comment l’architecture originale de MLP-Mixer est réinventée afin d’intégrer une guidance issue de la structure graphique. Enfin, nous menons une évaluation approfondie sur les jeux de données Human3.6M, AMASS et 3DPW, démontrant que notre méthode atteint des performances de pointe.