HyperAIHyperAI

Command Palette

Search for a command to run...

Generierung vielfältiger und natürlicher 3D-Menschenbewegungen aus Text

Li Cheng Xingyu Li Wei Ji Sen Wang Xinxin Zuo Shihao Zou Chuan Guo

Zusammenfassung

Die automatisierte Generierung von 3D-Menschenbewegungen aus Text ist eine anspruchsvolle Aufgabe. Die generierten Bewegungen sollen ausreichend vielfältig sein, um den textbasierten Bewegungsraum effektiv zu erkunden, und vor allem präzise die in den vorgegebenen Textbeschreibungen enthaltenen Inhalte wiedergeben. Wir adressieren dieses Problem mit einem zweistufigen Ansatz: Text2Länge-Sampling und Text2Bewegungsgenerierung. Beim Text2Länge-Sampling wird aus der gelernten Verteilungsfunktion der Bewegungslängen bedingt auf den Eingabetext abgefragt. Anschließend nutzt unser Text2Bewegung-Modul einen zeitlichen variationalen Autoencoder, um eine vielfältige Menge von Menschenbewegungen mit den abgefragten Längen zu synthetisieren. Anstelle der direkten Arbeit mit Gelenkpose-Sequenzen schlagen wir stattdessen eine Bewegungsschnipsel-Codierung als interne Bewegungsrepräsentation vor, die lokale semantische Bewegungskontexte erfasst und empirisch gezeigt hat, dass sie die Generierung plausibler Bewegungen, die der Eingabesprache treu bleiben, erleichtert. Zudem wurde eine großskalige Datenbank von skriptbasierten 3D-Menschenbewegungen, namens HumanML3D, erstellt, die aus 14.616 Bewegungsclips und 44.970 Textbeschreibungen besteht. Umfangreiche empirische Experimente belegen die Wirksamkeit unseres Ansatzes. Projekt-Webseite: https://ericguo5513.github.io/text-to-motion/.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Generierung vielfältiger und natürlicher 3D-Menschenbewegungen aus Text | Paper | HyperAI