in2IN : Exploiter les informations individuelles pour générer des interactions humaines

La génération d’interactions motionnelles entre humains conditionnées par des descriptions textuelles constitue une application extrêmement utile dans de nombreux domaines tels que la robotique, les jeux vidéo, l’animation et le métavers. Parallèlement à cette utilité se pose une difficulté considérable dans la modélisation des dynamiques interpersonnelles à haute dimension. En outre, la capture adéquate de la diversité intra-personnelle des interactions soulève de nombreux défis. Les méthodes actuelles produisent des interactions aux dynamiques intra-personnelles peu diversifiées, en raison des limites des jeux de données disponibles et des stratégies de conditionnement. À cet effet, nous introduisons in2IN, un nouveau modèle de diffusion pour la génération de mouvements humain-humain, conditionné non seulement par une description textuelle globale de l’interaction, mais aussi par des descriptions individuelles des actions effectuées par chaque personne impliquée. Pour entraîner ce modèle, nous utilisons un grand modèle linguistique afin d’enrichir le jeu de données InterHuman avec des descriptions individuelles. En conséquence, in2IN atteint des performances de pointe sur le jeu de données InterHuman. Par ailleurs, afin d’accroître la diversité intra-personnelle sur les jeux de données d’interaction existants, nous proposons DualMDM, une technique de composition de modèles qui combine les mouvements générés par in2IN avec ceux produits par un modèle pré-entraîné sur HumanML3D, dédié à la génération de mouvements individuels. Le résultat est une génération de mouvements présentant une diversité individuelle accrue, tout en maintenant une cohérence interpersonnelle, tout en offrant un meilleur contrôle sur les dynamiques intra-personnelles.