HyperAIHyperAI

Command Palette

Search for a command to run...

Diffusion Motion: Textgesteuerte Generierung von 3D-Menschenbewegungen mittels Diffusionsmodell

Zhiyuan Ren Zhihong Pan Xin Zhou Le Kang

Zusammenfassung

Wir stellen eine einfache und neuartige Methode zur Generierung von 3D-Menschenbewegungen aus komplexen natürlichsprachlichen Sätzen vor, die verschiedene Geschwindigkeiten, Richtungen und Zusammensetzungen verschiedenster Aktionen beschreiben. Im Gegensatz zu bestehenden Ansätzen, die klassische generative Architekturen verwenden, setzen wir hier ein Denoising Diffusion Probabilistic Model (DDPM) ein, um vielfältige Bewegungsergebnisse unter textueller Steuerung zu synthetisieren. Das Diffusionsmodell wandelt weißes Rauschen durch einen Markov-Prozess mit einer Folge von Entrauschungsschritten in strukturierte 3D-Bewegungen um und wird effizient durch Optimierung einer variationalen unteren Schranke trainiert. Um die Aufgabe der textbedingten Bildsynthese zu erreichen, integrieren wir während des Trainings die Textembeddings mittels einer classifier-free guidance-Strategie in das Modell. Unsere Experimente zeigen, dass unser Modell quantitativ konkurrenzfähige Ergebnisse auf dem HumanML3D-Testset erzielt und gleichzeitig visuell natürlichere sowie vielfältigere Bewegungsbeispiele generieren kann. Darüber hinaus belegen unsere Experimente, dass unser Modell in der Lage ist, ohne vorheriges Training (zero-shot) Bewegungen für bisher nicht gesehene textuelle Anweisungen zu generieren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Diffusion Motion: Textgesteuerte Generierung von 3D-Menschenbewegungen mittels Diffusionsmodell | Paper | HyperAI