Diffusion Motion: Textgesteuerte Generierung von 3D-Menschenbewegungen mittels Diffusionsmodell

Wir stellen eine einfache und neuartige Methode zur Generierung von 3D-Menschenbewegungen aus komplexen natürlichsprachlichen Sätzen vor, die verschiedene Geschwindigkeiten, Richtungen und Zusammensetzungen verschiedenster Aktionen beschreiben. Im Gegensatz zu bestehenden Ansätzen, die klassische generative Architekturen verwenden, setzen wir hier ein Denoising Diffusion Probabilistic Model (DDPM) ein, um vielfältige Bewegungsergebnisse unter textueller Steuerung zu synthetisieren. Das Diffusionsmodell wandelt weißes Rauschen durch einen Markov-Prozess mit einer Folge von Entrauschungsschritten in strukturierte 3D-Bewegungen um und wird effizient durch Optimierung einer variationalen unteren Schranke trainiert. Um die Aufgabe der textbedingten Bildsynthese zu erreichen, integrieren wir während des Trainings die Textembeddings mittels einer classifier-free guidance-Strategie in das Modell. Unsere Experimente zeigen, dass unser Modell quantitativ konkurrenzfähige Ergebnisse auf dem HumanML3D-Testset erzielt und gleichzeitig visuell natürlichere sowie vielfältigere Bewegungsbeispiele generieren kann. Darüber hinaus belegen unsere Experimente, dass unser Modell in der Lage ist, ohne vorheriges Training (zero-shot) Bewegungen für bisher nicht gesehene textuelle Anweisungen zu generieren.