Generierung vielfältiger und natürlicher 3D-Menschenbewegungen aus Text

Die automatisierte Generierung von 3D-Menschenbewegungen aus Text ist eine anspruchsvolle Aufgabe. Die generierten Bewegungen sollen ausreichend vielfältig sein, um den textbasierten Bewegungsraum effektiv zu erkunden, und vor allem präzise die in den vorgegebenen Textbeschreibungen enthaltenen Inhalte wiedergeben. Wir adressieren dieses Problem mit einem zweistufigen Ansatz: Text2Länge-Sampling und Text2Bewegungsgenerierung. Beim Text2Länge-Sampling wird aus der gelernten Verteilungsfunktion der Bewegungslängen bedingt auf den Eingabetext abgefragt. Anschließend nutzt unser Text2Bewegung-Modul einen zeitlichen variationalen Autoencoder, um eine vielfältige Menge von Menschenbewegungen mit den abgefragten Längen zu synthetisieren. Anstelle der direkten Arbeit mit Gelenkpose-Sequenzen schlagen wir stattdessen eine Bewegungsschnipsel-Codierung als interne Bewegungsrepräsentation vor, die lokale semantische Bewegungskontexte erfasst und empirisch gezeigt hat, dass sie die Generierung plausibler Bewegungen, die der Eingabesprache treu bleiben, erleichtert. Zudem wurde eine großskalige Datenbank von skriptbasierten 3D-Menschenbewegungen, namens HumanML3D, erstellt, die aus 14.616 Bewegungsclips und 44.970 Textbeschreibungen besteht. Umfangreiche empirische Experimente belegen die Wirksamkeit unseres Ansatzes. Projekt-Webseite: https://ericguo5513.github.io/text-to-motion/.