InterGen : Génération de mouvements multi-individus basée sur la diffusion dans des interactions complexes

Nous avons récemment assisté à des progrès considérables dans les méthodes de diffusion pour la génération de mouvements humains réalistes. Toutefois, celles-ci négligent largement les interactions entre plusieurs individus. Dans ce papier, nous présentons InterGen, une approche basée sur la diffusion efficace qui intègre explicitement les interactions entre individus dans le processus de diffusion des mouvements. Cette méthode permet à des utilisateurs non spécialisés de personnaliser des séquences de mouvements de deux personnes de haute qualité, uniquement à partir d’une instruction textuelle. Tout d’abord, nous proposons un nouveau jeu de données multimodal, nommé InterHuman, comprenant environ 107 millions de cadres décrivant une grande diversité d’interactions entre deux personnes, avec des mouvements squelettiques précis et 23 337 descriptions naturelles en langage courant. Du côté algorithmique, nous adaptons soigneusement le modèle de diffusion de mouvement à notre cadre d’interaction à deux personnes. Pour gérer la symétrie des identités humaines lors des interactions, nous proposons deux dénoiseurs basés sur des transformateurs coopératifs partageant explicitement leurs poids, munis d’un mécanisme d’attention mutuelle afin de renforcer la connexion entre les deux processus de débruitage. Ensuite, nous introduisons une nouvelle représentation d’entrée pour les mouvements dans notre modèle de diffusion d’interaction, qui formule de manière explicite les relations globales entre les deux interagissants dans le repère monde. Nous proposons également deux nouveaux termes de régularisation pour encoder les relations spatiales, accompagnés d’un schéma d’amortissement spécifique durant l’entraînement de notre modèle. Des expériences étendues valident l’efficacité et la généralisation d’InterGen. Notamment, cette méthode génère des mouvements à deux personnes plus variés et plus convaincants que les approches précédentes, tout en ouvrant la voie à diverses applications en aval pour les interactions humaines.