HyperAIHyperAI

Command Palette

Search for a command to run...

InterGen : Génération de mouvements multi-individus basée sur la diffusion dans des interactions complexes

Han Liang Wenqian Zhang Wenxuan Li Jingyi Yu Lan Xu

Résumé

Nous avons récemment assisté à des progrès considérables dans les méthodes de diffusion pour la génération de mouvements humains réalistes. Toutefois, celles-ci négligent largement les interactions entre plusieurs individus. Dans ce papier, nous présentons InterGen, une approche basée sur la diffusion efficace qui intègre explicitement les interactions entre individus dans le processus de diffusion des mouvements. Cette méthode permet à des utilisateurs non spécialisés de personnaliser des séquences de mouvements de deux personnes de haute qualité, uniquement à partir d’une instruction textuelle. Tout d’abord, nous proposons un nouveau jeu de données multimodal, nommé InterHuman, comprenant environ 107 millions de cadres décrivant une grande diversité d’interactions entre deux personnes, avec des mouvements squelettiques précis et 23 337 descriptions naturelles en langage courant. Du côté algorithmique, nous adaptons soigneusement le modèle de diffusion de mouvement à notre cadre d’interaction à deux personnes. Pour gérer la symétrie des identités humaines lors des interactions, nous proposons deux dénoiseurs basés sur des transformateurs coopératifs partageant explicitement leurs poids, munis d’un mécanisme d’attention mutuelle afin de renforcer la connexion entre les deux processus de débruitage. Ensuite, nous introduisons une nouvelle représentation d’entrée pour les mouvements dans notre modèle de diffusion d’interaction, qui formule de manière explicite les relations globales entre les deux interagissants dans le repère monde. Nous proposons également deux nouveaux termes de régularisation pour encoder les relations spatiales, accompagnés d’un schéma d’amortissement spécifique durant l’entraînement de notre modèle. Des expériences étendues valident l’efficacité et la généralisation d’InterGen. Notamment, cette méthode génère des mouvements à deux personnes plus variés et plus convaincants que les approches précédentes, tout en ouvrant la voie à diverses applications en aval pour les interactions humaines.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
InterGen : Génération de mouvements multi-individus basée sur la diffusion dans des interactions complexes | Articles | HyperAI