HyperAIHyperAI

Command Palette

Search for a command to run...

in2IN: Individuelle Informationen nutzen, um menschliche Interaktionen zu generieren

Pablo Ruiz Ponce German Barquero Cristina Palmero Sergio Escalera Jose Garcia-Rodriguez

Zusammenfassung

Die Generierung von menschlich-menschlichen Bewegungsinteraktionen basierend auf textuellen Beschreibungen ist eine äußerst nützliche Anwendung in zahlreichen Bereichen wie Robotik, Gaming, Animation und dem Metaversum. Gleichzeitig birgt diese Aufgabe erhebliche Schwierigkeiten, da die hochdimensionalen interpersonellen Dynamiken präzise modelliert werden müssen. Darüber hinaus stellt die adäquate Erfassung der intra-personellen Vielfalt von Interaktionen erhebliche Herausforderungen dar. Aktuelle Methoden generieren Interaktionen mit begrenzter Vielfalt der intra-personellen Dynamik, was auf die Einschränkungen der verfügbaren Datensätze und der Bedingungsstrategien zurückzuführen ist. Um dies zu überwinden, stellen wir in2IN vor – ein neuartiges Diffusionsmodell zur Generierung menschlich-menschlicher Bewegungen, das nicht nur auf der textuellen Beschreibung der Gesamtinteraktion, sondern auch auf individuellen Beschreibungen der Aktionen jedes beteiligten Menschen konditioniert ist. Zur Trainingsvorbereitung nutzen wir ein großes Sprachmodell, um den InterHuman-Datensatz durch individuelle Beschreibungen zu erweitern. Als Ergebnis erreicht in2IN eine state-of-the-art-Leistung auf dem InterHuman-Datensatz. Darüber hinaus schlagen wir DualMDM vor – eine Modellzusammensetzungsstrategie, die die Bewegungen, die mit in2IN generiert wurden, mit jenen kombiniert, die mit einem Einzelpersonen-Bewegungsvorwissen erzeugt wurden, das auf HumanML3D vortrainiert wurde. Dadurch gelingt es DualMDM, Bewegungen mit erhöhter individueller Vielfalt zu erzeugen und die Kontrolle über die intra-personellen Dynamiken zu verbessern, während gleichzeitig die interpersonelle Kohärenz gewahrt bleibt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
in2IN: Individuelle Informationen nutzen, um menschliche Interaktionen zu generieren | Paper | HyperAI