in2IN: Individuelle Informationen nutzen, um menschliche Interaktionen zu generieren

Die Generierung von menschlich-menschlichen Bewegungsinteraktionen basierend auf textuellen Beschreibungen ist eine äußerst nützliche Anwendung in zahlreichen Bereichen wie Robotik, Gaming, Animation und dem Metaversum. Gleichzeitig birgt diese Aufgabe erhebliche Schwierigkeiten, da die hochdimensionalen interpersonellen Dynamiken präzise modelliert werden müssen. Darüber hinaus stellt die adäquate Erfassung der intra-personellen Vielfalt von Interaktionen erhebliche Herausforderungen dar. Aktuelle Methoden generieren Interaktionen mit begrenzter Vielfalt der intra-personellen Dynamik, was auf die Einschränkungen der verfügbaren Datensätze und der Bedingungsstrategien zurückzuführen ist. Um dies zu überwinden, stellen wir in2IN vor – ein neuartiges Diffusionsmodell zur Generierung menschlich-menschlicher Bewegungen, das nicht nur auf der textuellen Beschreibung der Gesamtinteraktion, sondern auch auf individuellen Beschreibungen der Aktionen jedes beteiligten Menschen konditioniert ist. Zur Trainingsvorbereitung nutzen wir ein großes Sprachmodell, um den InterHuman-Datensatz durch individuelle Beschreibungen zu erweitern. Als Ergebnis erreicht in2IN eine state-of-the-art-Leistung auf dem InterHuman-Datensatz. Darüber hinaus schlagen wir DualMDM vor – eine Modellzusammensetzungsstrategie, die die Bewegungen, die mit in2IN generiert wurden, mit jenen kombiniert, die mit einem Einzelpersonen-Bewegungsvorwissen erzeugt wurden, das auf HumanML3D vortrainiert wurde. Dadurch gelingt es DualMDM, Bewegungen mit erhöhter individueller Vielfalt zu erzeugen und die Kontrolle über die intra-personellen Dynamiken zu verbessern, während gleichzeitig die interpersonelle Kohärenz gewahrt bleibt.