HyperAIHyperAI

Command Palette

Search for a command to run...

TEMOS: Generierung vielfältiger menschlicher Bewegungen aus textuellen Beschreibungen

Mathis Petrovich Michael J. Black Gül Varol

Zusammenfassung

Wir behandeln das Problem der Generierung vielfältiger 3D-Menschenbewegungen aus textuellen Beschreibungen. Diese herausfordernde Aufgabe erfordert die gemeinsame Modellierung beider Modalitäten: die Verständnis- und Extraktion nützlicher menschenzentrierter Informationen aus dem Text sowie die anschließende Generierung plausibler und realistischer Sequenzen menschlicher Körperhaltungen. Im Gegensatz zu den meisten vorherigen Arbeiten, die sich auf die Generierung einer einzelnen, deterministischen Bewegung aus einer textuellen Beschreibung konzentrieren, entwickeln wir einen variationalen Ansatz, der mehrere unterschiedliche menschliche Bewegungen erzeugen kann. Wir stellen TEMOS vor, ein textbedingtes generatives Modell, das die Schätzung von Variational Autoencoders (VAE) mit menschlichen Bewegungsdaten kombiniert mit einem Text-Encoder, der Verteilungsparameter produziert, die mit dem latenten Raum des VAE kompatibel sind. Wir zeigen, dass das TEMOS-Framework sowohl skelettbasierte Animationen wie in früheren Arbeiten erzeugen kann als auch ausdrucksstarkere SMPL-Körperbewegungen. Wir evaluieren unseren Ansatz am KIT Motion-Language-Benchmark und demonstrieren, trotz der relativ einfachen Struktur, erhebliche Verbesserungen gegenüber dem Stand der Technik. Der Quellcode und die Modelle sind auf unserer Webseite verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp