HyperAIHyperAI

Command Palette

Search for a command to run...

MotionLCM: Echtzeitkontrollierbare Bewegungsgenerierung mittels latenter Konsistenzmodelle

Wenxun Dai Ling-Hao Chen Jingbo Wang Jinpeng Liu Bo Dai Yansong Tang

Zusammenfassung

Diese Arbeit stellt MotionLCM vor, das die kontrollierbare Bewegungsgenerierung auf eine Echtzeitstufe erweitert. Bestehende Methoden zur räumlichen Kontrolle bei textbedingter Bewegungsgenerierung leiden unter erheblicher Laufzeit ineffizienz. Um dieses Problem anzugehen, schlagen wir zunächst das Motion Latent Consistency Model (MotionLCM) für die Bewegungsgenerierung vor, das auf dem Latent-Diffusionsmodell (MLD) aufbaut. Durch die Verwendung von einstufiger (bzw. wenigen Schritten) Inferenz verbessern wir zudem die Laufzeiteffizienz des Motion Latent Diffusion Models für die Bewegungsgenerierung. Um eine effektive Kontrollierbarkeit sicherzustellen, integrieren wir innerhalb des Latentraums von MotionLCM ein Motion ControlNet und ermöglichen explizite Steuersignale (z. B. Pelvis-Bahn) im ursprünglichen Bewegungsraum, um den Generierungsprozess direkt zu steuern – ähnlich wie bei der Steuerung anderer latentenfreier Diffusionsmodelle für die Bewegungsgenerierung. Durch die Anwendung dieser Techniken kann unser Ansatz menschliche Bewegungen in Echtzeit unter Verwendung von Text und Steuersignalen generieren. Experimentelle Ergebnisse belegen die bemerkenswerten Generierungs- und Steuerungsfähigkeiten von MotionLCM bei gleichzeitiger Aufrechterhaltung einer Echtzeit-Laufzeit-Effizienz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp