HyperAIHyperAI

Command Palette

Search for a command to run...

InterGen: Diffusionsbasierte Generierung mehrerer menschlicher Bewegungen unter komplexen Wechselwirkungen

Han Liang Wenqian Zhang Wenxuan Li Jingyi Yu Lan Xu

Zusammenfassung

In den letzten Zeit haben wir erhebliche Fortschritte bei der Entwicklung von Diffusionsmodellen zur Generierung realistischer menschlicher Bewegungen beobachtet. Doch diese Ansätze berücksichtigen weitgehend nicht die Interaktionen zwischen mehreren Menschen. In diesem Artikel präsentieren wir InterGen, einen effektiven, auf Diffusion basierenden Ansatz, der menschliche Interaktionen direkt in den Bewegungs-Diffusionsprozess integriert und damit Laienbenutzern ermöglicht, hochwertige Zweipersonen-Interaktionsbewegungen allein anhand von Texteingaben anzupassen. Zunächst tragen wir ein multimodales Datenset namens InterHuman bei, das etwa 107 Millionen Frames umfasst und vielfältige Zweipersonen-Interaktionen mit präzisen Skelett-Bewegungen sowie 23.337 natürlichsprachliche Beschreibungen enthält. Auf algorithmischer Ebene passen wir das Bewegungs-Diffusionsmodell gezielt unserem Zweipersonen-Interaktions-Szenario an. Um die Symmetrie der menschlichen Identitäten während der Interaktion zu berücksichtigen, schlagen wir zwei kooperative, transformerbasierte Entrauschungsmodelle vor, die explizit Gewichte teilen und über ein gegenseitiges Aufmerksamkeitsmechanismus miteinander verbunden sind, um die beiden Entrauschungsprozesse weiter zu verknüpfen. Darüber hinaus führen wir eine neuartige Darstellung für die Bewegungs-Eingabe in unserem Interaktions-Diffusionsmodell ein, die die globalen Beziehungen zwischen den beiden Akteuren im Weltkoordinatensystem explizit formuliert. Zudem stellen wir zwei neue Regularisierungsterme vor, um räumliche Beziehungen zu kodieren, und integrieren eine entsprechende Dämpfungsschema während des Trainings des Interaktions-Diffusionsmodells. Umfassende Experimente bestätigen die Wirksamkeit und Generalisierbarkeit von InterGen. Insbesondere kann das Modell vielfältigere und überzeugendere Zweipersonen-Bewegungen generieren als bisherige Methoden und ermöglicht zahlreiche Anwendungen im Bereich menschlicher Interaktionen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp