HyperAIHyperAI

Command Palette

Search for a command to run...

MoFusion: Ein Framework zur Bewegungssynthese basierend auf Rauschunterdrückungs-Diffusionsmodellen

Rishabh Dabral Muhammad Hamza Mughal Vladislav Golyanik Christian Theobalt

Zusammenfassung

Herkömmliche Methoden zur menschlichen Bewegungssynthese sind entweder deterministisch oder leiden unter dem Kompromiss zwischen Bewegungsvielfalt und Bewegungsqualität. Um diesen Einschränkungen entgegenzuwirken, stellen wir MoFusion vor – ein neuartiges, auf Denoising-Diffusion basierendes Framework für hochwertige bedingte menschliche Bewegungssynthese, das lange, zeitlich plausibel und semantisch korrekte Bewegungen auf Basis einer Vielzahl von Bedingungskontexten (wie Musik und Text) generieren kann. Zudem präsentieren wir eine Strategie zur Integration bekannter kinematischer Verlustfunktionen zur Gewährleistung von Bewegungsplausibilität innerhalb des Bewegungs-Diffusionsrahmens durch eine zeitlich gesteuerte Gewichtung. Der gelernte latente Raum ermöglicht mehrere interaktive Anwendungen zur Bewegungsmodifikation – beispielsweise Zwischenbewegungserstellung (inbetweening), Seed-Conditioning und textbasierte Bearbeitung – und bietet somit entscheidende Fähigkeiten für die Animation virtueller Charaktere und die Robotik. Durch umfassende quantitative Evaluierungen sowie eine wahrnehmungsorientierte Nutzerstudie belegen wir die Überlegenheit von MoFusion gegenüber dem Stand der Technik auf etablierten Benchmarks aus der Literatur. Wir empfehlen dem Leser dringend, sich unser Zusatzvideo anzusehen und die Webseite https://vcai.mpi-inf.mpg.de/projects/MoFusion zu besuchen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MoFusion: Ein Framework zur Bewegungssynthese basierend auf Rauschunterdrückungs-Diffusionsmodellen | Paper | HyperAI