HyperAIHyperAI

Command Palette

Search for a command to run...

MT-VAE: Lernen von Bewegungstransformationen zur Generierung multimodaler menschlicher Dynamiken

Xinchen Yan Akash Rastogi Ruben Villegas Kalyan Sunkavalli Eli Shechtman Sunil Hadap Ersin Yumer Honglak Lee

Zusammenfassung

Langfristige menschliche Bewegungen können als eine Reihe von Bewegungsmodi dargestellt werden – Bewegungssequenzen, die kurzfristige zeitliche Dynamiken erfassen – mit Übergängen zwischen ihnen. Wir nutzen diese Struktur und stellen ein neues Modell namens Motion Transformation Variational Auto-Encoders (MT-VAE) zur Lernung der Generierung von Bewegungssequenzen vor. Unser Modell lernt gleichzeitig eine Merkmalskodierung für Bewegungsmodi (aus denen die Bewegungssequenz rekonstruiert werden kann) und eine MerkmalsTransformation, die den Übergang von einem Bewegungsmodus zum nächsten darstellt. Unser Modell ist in der Lage, aus der gleichen Eingabe mehrere verschiedene und plausible zukünftige Bewegungssequenzen zu generieren. Wir wenden unseren Ansatz sowohl auf Gesichtsbewegungen als auch auf vollen Körperbewegungen an und demonstrieren Anwendungen wie analogiebasierte Bewegungstransfer und Videosynthese.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp