Complétion du mouvement en une seule étape avec Transformer

La complétion de mouvements est un problème difficile et largement débattu, d'une grande importance dans les applications cinématographiques et ludiques. Pour différentes scénarios de complétion de mouvements (interpolation, remplissage, et mélange), la plupart des méthodes antérieures traitent ces problèmes par des approches spécifiques à chaque cas. Dans ce travail, nous proposons une méthode simple mais efficace pour résoudre plusieurs problèmes de complétion de mouvements dans un cadre unifié, atteignant ainsi un nouveau record d'exactitude dans diverses configurations d'évaluation. Inspirés par les récents succès remarquables des modèles basés sur l'attention, nous considérons la complétion comme un problème de prédiction séquence à séquence. Notre méthode repose sur deux modules : un encodeur Transformer standard utilisant une attention self-attention pour capturer les dépendances à longue portée dans les mouvements d'entrée, et un module d'embedding mixte entraînable qui modélise les informations temporelles et distingue les images clés. Notre approche peut fonctionner de manière non-autorégressive et prédire plusieurs cadres manquants en une seule propagation avant en temps réel. Enfin, nous démontrons l'efficacité de notre méthode dans des applications musique-danse.