Rollenbewusste Interaktionsgenerierung aus textueller Beschreibung

Diese Forschung befasst sich mit der Herausforderung der Generierung von Interaktionen zwischen zwei menschlichen Akteuren anhand einer textuellen Beschreibung. Wir behaupten, dass bestimmte Interaktionen, die wir asynchrone Interaktionen nennen, eine Beziehung zwischen einem Akteur und einem Empfänger implizieren, deren Bewegungen je nach zugewiesener Rolle erheblich voneinander abweichen. Bisherige Studien zur Interaktionsgenerierung versuchen, die Korrespondenz zwischen einem einzigen Label und den Bewegungen beider Akteure gemeinsam zu erlernen, wodurch die Unterschiede in den individuellen Rollen übersehen werden. Wir stellen ein neues Problem der rollenbewussten Interaktionsgenerierung vor, bei dem die Rollen vor der Generierung festgelegt werden können. Wir übersetzen die Textbeschreibung asynchroner Interaktionen in aktive und passive Stimme, um sicherzustellen, dass der textuelle Kontext jeweils mit der zugewiesenen Rolle konsistent ist. Wir schlagen ein Modell vor, das lernt, die Bewegungen der festgelegten Rolle zu generieren, wobei die resultierenden Bewegungen gemeinsam eine wechselseitig konsistente Interaktion bilden. Da das Modell die einzelnen Bewegungen getrennt behandelt, kann es vortrainiert werden, um Wissen aus Einzelpersonen-Bewegungsdaten zu gewinnen, was zu präziseren Interaktionen führt. Darüber hinaus führen wir eine Methode ein, die sich an der Permutation Invariant Training (PIT)-Strategie orientiert und automatisch erlernen kann, welche der beiden Aktionen dem Akteur und welche dem Empfänger zuzuordnen ist, ohne zusätzliche Annotationen zu benötigen. Wir zeigen zudem Fälle auf, in denen gängige Evaluationsmetriken die Qualität generierter Interaktionen nicht angemessen bewerten können, und stellen eine neue Metrik, die „Mutuelle Konsistenz“ (Mutual Consistency), vor, um diese Lücken zu schließen. Experimentelle Ergebnisse belegen die Wirksamkeit unseres Ansatzes sowie die Notwendigkeit der vorgeschlagenen Metrik. Unser Code ist unter https://github.com/line/Human-Interaction-Generation verfügbar.