Transformers de Pose (POTR) : Prédiction du mouvement humain avec des Transformers non-autorégressifs

Nous proposons d'utiliser des architectures Transformer pour la prédiction non autoregressive du mouvement humain. Notre approche décode les éléments en parallèle à partir d'une séquence de requêtes, au lieu de s'appuyer sur les prédictions antérieures, comme le font les méthodes d'état de l'art basées sur les réseaux de neurones récurrents (RNN). Cette stratégie permet de réduire fortement la charge computationnelle et d'éviter potentiellement l'accumulation d'erreurs sur les éléments à long terme de la séquence. Dans ce cadre, nos contributions sont quadruples : (i) nous reformulons la prédiction du mouvement humain comme un problème de séquence à séquence, et proposons un Transformer non autoregressive permettant d'inférer en parallèle les séquences de postures ; (ii) nous proposons de décoder les séquences de postures 3D à partir d'une séquence de requêtes préalablement générée à partir d'éléments de la séquence d'entrée ; (iii) nous proposons d'effectuer une classification d'activités basée sur le squelette à partir de la mémoire de l'encodeur, dans l'espoir que l'identification de l'activité améliore la qualité des prédictions ; (iv) nous démontrons que, malgré sa simplicité, notre méthode obtient des résultats compétitifs sur deux jeux de données publics, bien que de manière surprenante, ces performances soient particulièrement marquées pour les prédictions à court terme plutôt que pour les prédictions à long terme.