HyperAIHyperAI

Command Palette

Search for a command to run...

MCM : Cadre de synthèse de mouvement multi-conditions

Zeyu Ling Bo Han Yongkang Wongkan Han Lin Mohan Kankanhalli Weidong Geng

Résumé

La synthèse conditionnelle du mouvement humain (HMS) vise à générer des séquences de mouvement humain conformes à des conditions spécifiques. Le texte et l'audio représentent les deux modalités prédominantes utilisées comme conditions de contrôle dans le cadre de l'HMS. Alors que les recherches existantes se concentrent principalement sur des conditions uniques, la synthèse du mouvement humain multi-conditionnelle reste largement sous-exploree. Dans cette étude, nous proposons un cadre d'HMS multi-conditionnelle, nommé MCM, basé sur une architecture à double branche composée d'un branche principale et d'une branche de contrôle. Ce cadre étend efficacement l'applicabilité du modèle à diffusion, initialement conçu uniquement pour des conditions textuelles, aux conditions audio. Cette extension couvre à la fois la transformation musique-vers-danse et la synthèse du mouvement associé à la parole (co-speech HMS), tout en préservant la qualité intrinsèque du mouvement et les capacités d'association sémantique inhérentes au modèle original. En outre, nous proposons l’implémentation d’un modèle à diffusion basé sur le Transformer, désigné MWNet, comme branche principale. Ce modèle maîtrise habilement les complexités spatiales et les corrélations inter-jointes présentes dans les séquences de mouvement, grâce à l’intégration de modules d’attention auto-multipleine. Des expériences étendues montrent que notre méthode atteint des résultats compétitifs sur des tâches d’HMS à condition unique comme à condition multiple.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MCM : Cadre de synthèse de mouvement multi-conditions | Articles | HyperAI