HyperAIHyperAI

Command Palette

Search for a command to run...

Génération d'interactions conscientes du rôle à partir d'une description textuelle

Kent Fujiwara Mikihiro Tanaka

Résumé

Cette recherche aborde le problème de la génération d’interactions entre deux acteurs humains à partir d’une description textuelle. Nous affirmons que certaines interactions, que nous appelons interactions asymétriques, impliquent une relation entre un acteur et un récepteur, dont les mouvements diffèrent considérablement selon le rôle attribué. Toutefois, les études existantes sur la génération d’interactions cherchent à apprendre une correspondance entre une seule étiquette et les mouvements combinés des deux acteurs, en ignorant ainsi les différences inhérentes aux rôles individuels. Nous introduisons un nouveau problème de génération d’interactions consciente des rôles, dans lequel les rôles peuvent être définis avant la génération. Nous traduisons la description textuelle des interactions asymétriques en voix active et voix passive afin de garantir que le contexte textuel soit cohérent avec chaque rôle. Nous proposons un modèle capable d’apprendre à générer les mouvements du rôle désigné, formant ainsi une interaction mutuellement cohérente. Étant donné que le modèle traite séparément les mouvements individuels, il peut être pré-entraîné sur des données de mouvements à une seule personne afin d’extraire des connaissances pour améliorer la précision des interactions. En outre, nous introduisons une méthode inspirée de l’entraînement invariant par permutation (Permutation Invariant Training, PIT), capable d’apprendre automatiquement quelle action correspond à l’acteur ou au récepteur, sans nécessiter d’étiquetage supplémentaire. Nous mettons également en évidence des cas où les métriques d’évaluation existantes échouent à évaluer correctement la qualité des interactions générées, et proposons une nouvelle métrique, la cohérence mutuelle, pour pallier ces limites. Les résultats expérimentaux démontrent l’efficacité de notre méthode ainsi que la nécessité de la métrique proposée. Le code est disponible à l’adresse suivante : https://github.com/line/Human-Interaction-Generation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp