TEMOS: Generierung vielfältiger menschlicher Bewegungen aus textuellen Beschreibungen

Wir behandeln das Problem der Generierung vielfältiger 3D-Menschenbewegungen aus textuellen Beschreibungen. Diese herausfordernde Aufgabe erfordert die gemeinsame Modellierung beider Modalitäten: die Verständnis- und Extraktion nützlicher menschenzentrierter Informationen aus dem Text sowie die anschließende Generierung plausibler und realistischer Sequenzen menschlicher Körperhaltungen. Im Gegensatz zu den meisten vorherigen Arbeiten, die sich auf die Generierung einer einzelnen, deterministischen Bewegung aus einer textuellen Beschreibung konzentrieren, entwickeln wir einen variationalen Ansatz, der mehrere unterschiedliche menschliche Bewegungen erzeugen kann. Wir stellen TEMOS vor, ein textbedingtes generatives Modell, das die Schätzung von Variational Autoencoders (VAE) mit menschlichen Bewegungsdaten kombiniert mit einem Text-Encoder, der Verteilungsparameter produziert, die mit dem latenten Raum des VAE kompatibel sind. Wir zeigen, dass das TEMOS-Framework sowohl skelettbasierte Animationen wie in früheren Arbeiten erzeugen kann als auch ausdrucksstarkere SMPL-Körperbewegungen. Wir evaluieren unseren Ansatz am KIT Motion-Language-Benchmark und demonstrieren, trotz der relativ einfachen Struktur, erhebliche Verbesserungen gegenüber dem Stand der Technik. Der Quellcode und die Modelle sind auf unserer Webseite verfügbar.