HyperAIHyperAI

Command Palette

Search for a command to run...

Complétion du mouvement en une seule étape avec Transformer

Yinglin Duan Tianyang Shi Zhengxia Zou Yenan Lin Zhehui Qian Bohan Zhang Yi Yuan

Résumé

La complétion de mouvements est un problème difficile et largement débattu, d'une grande importance dans les applications cinématographiques et ludiques. Pour différentes scénarios de complétion de mouvements (interpolation, remplissage, et mélange), la plupart des méthodes antérieures traitent ces problèmes par des approches spécifiques à chaque cas. Dans ce travail, nous proposons une méthode simple mais efficace pour résoudre plusieurs problèmes de complétion de mouvements dans un cadre unifié, atteignant ainsi un nouveau record d'exactitude dans diverses configurations d'évaluation. Inspirés par les récents succès remarquables des modèles basés sur l'attention, nous considérons la complétion comme un problème de prédiction séquence à séquence. Notre méthode repose sur deux modules : un encodeur Transformer standard utilisant une attention self-attention pour capturer les dépendances à longue portée dans les mouvements d'entrée, et un module d'embedding mixte entraînable qui modélise les informations temporelles et distingue les images clés. Notre approche peut fonctionner de manière non-autorégressive et prédire plusieurs cadres manquants en une seule propagation avant en temps réel. Enfin, nous démontrons l'efficacité de notre méthode dans des applications musique-danse.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp