HyperAIHyperAI

Command Palette

Search for a command to run...

La diffusion du mouvement humain comme prior génératif

Yonatan Shafir Guy Tevet Roy Kapon Amit H. Bermano

Résumé

Les travaux récents ont démontré le potentiel important des modèles de diffusion débruitants pour la génération de mouvements humains, y compris la capacité text-to-motion. Toutefois, ces méthodes sont limitées par le manque de données d’annotation en mouvement, leur focalisation sur les mouvements à une seule personne, ainsi que par l’absence de contrôle détaillé. Dans cet article, nous introduisons trois formes de composition fondées sur des préconnaissances de diffusion : composition séquentielle, composition parallèle et composition de modèles. Grâce à la composition séquentielle, nous abordons le défi de la génération de séquences longues. Nous proposons DoubleTake, une méthode d’inférence qui permet de générer des animations longues composées de séquences d’intervalles pilotés et de leurs transitions, en utilisant uniquement un modèle pré-entraîné sur des clips courts. En utilisant la composition parallèle, nous montrons des progrès prometteurs vers la génération de mouvements à deux personnes. À partir de deux préconnaissances fixes ainsi que de quelques exemples d’entraînement à deux personnes, nous apprenons un bloc de communication léger, ComMDM, afin de coordonner les interactions entre les deux mouvements générés. Enfin, grâce à la composition de modèles, nous entraînons d’abord des préconnaissances individuelles pour compléter des mouvements réalisant un mouvement prédéfini pour une articulation donnée. Nous introduisons ensuite DiffusionBlending, un mécanisme d’interpolation permettant de combiner efficacement plusieurs tels modèles, afin d’obtenir un contrôle fin et flexible au niveau des articulations et des trajectoires. Nous évaluons ces méthodes de composition à l’aide d’un modèle de diffusion de mouvement disponible en libre-service, et comparons les résultats à ceux obtenus avec des modèles dédiés entraînés spécifiquement pour ces tâches.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp