HyperAIHyperAI

Command Palette

Search for a command to run...

FineMoGen : Génération et édition de mouvement spatio-temporel à granularité fine

Mingyuan Zhang Huirong Li Zhongang Cai Jiawei Ren Lei Yang Ziwei Liu

Résumé

La génération de mouvement pilotée par le texte a connu des progrès considérables avec l'émergence des modèles de diffusion. Toutefois, les méthodes existantes peinent encore à générer des séquences de mouvement complexes correspondant à des descriptions fines, décrivant des actions spatio-temporelles détaillées et précises. Ce manque de contrôle fin limite l'accessibilité de la génération de mouvement à un public plus large. Pour relever ces défis, nous proposons FineMoGen, un cadre de génération et d'édition de mouvement basé sur les modèles de diffusion, capable de synthétiser des mouvements fins en s'appuyant sur des instructions spatiales et temporelles. Plus précisément, FineMoGen repose sur un modèle de diffusion intégrant une nouvelle architecture transformer appelée Attention Mixte Spatio-Temporelle (SAMI). SAMI optimise la génération du modèle d'attention globale selon deux axes : 1) modélisation explicite des contraintes de composition spatio-temporelle ; et 2) utilisation d'un mélange d'experts à activation sparse pour extraire de manière adaptative des caractéristiques fines. Afin de faciliter une étude à grande échelle sur cette nouvelle tâche de génération de mouvement à fort niveau de détail, nous introduisons le jeu de données HuMMan-MoGen, composé de 2 968 vidéos et de 102 336 descriptions spatio-temporelles fines. Des expériences étendues montrent que FineMoGen atteint une qualité de génération de mouvement supérieure à celle des méthodes de pointe. Notamment, FineMoGen permet également des capacités d’édition de mouvement zéro-shot grâce à l’assistance de modèles linguistiques massifs (LLM), permettant ainsi de manipuler fidèlement les séquences de mouvement à l’aide d’instructions précises. Page du projet : https://mingyuan-zhang.github.io/projects/FineMoGen.html


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp