Génération d'interactions conscientes du rôle à partir d'une description textuelle

Cette recherche aborde le problème de la génération d’interactions entre deux acteurs humains à partir d’une description textuelle. Nous affirmons que certaines interactions, que nous appelons interactions asymétriques, impliquent une relation entre un acteur et un récepteur, dont les mouvements diffèrent considérablement selon le rôle attribué. Toutefois, les études existantes sur la génération d’interactions cherchent à apprendre une correspondance entre une seule étiquette et les mouvements combinés des deux acteurs, en ignorant ainsi les différences inhérentes aux rôles individuels. Nous introduisons un nouveau problème de génération d’interactions consciente des rôles, dans lequel les rôles peuvent être définis avant la génération. Nous traduisons la description textuelle des interactions asymétriques en voix active et voix passive afin de garantir que le contexte textuel soit cohérent avec chaque rôle. Nous proposons un modèle capable d’apprendre à générer les mouvements du rôle désigné, formant ainsi une interaction mutuellement cohérente. Étant donné que le modèle traite séparément les mouvements individuels, il peut être pré-entraîné sur des données de mouvements à une seule personne afin d’extraire des connaissances pour améliorer la précision des interactions. En outre, nous introduisons une méthode inspirée de l’entraînement invariant par permutation (Permutation Invariant Training, PIT), capable d’apprendre automatiquement quelle action correspond à l’acteur ou au récepteur, sans nécessiter d’étiquetage supplémentaire. Nous mettons également en évidence des cas où les métriques d’évaluation existantes échouent à évaluer correctement la qualité des interactions générées, et proposons une nouvelle métrique, la cohérence mutuelle, pour pallier ces limites. Les résultats expérimentaux démontrent l’efficacité de notre méthode ainsi que la nécessité de la métrique proposée. Le code est disponible à l’adresse suivante : https://github.com/line/Human-Interaction-Generation.