HyperAIHyperAI

Command Palette

Search for a command to run...

MCM: Mehrbedingungs-basiertes Syntheserframework für Bewegungen

Zeyu Ling Bo Han Yongkang Wongkan Han Lin Mohan Kankanhalli Weidong Geng

Zusammenfassung

Die bedingte menschliche Bewegungssynthese (HMS) zielt darauf ab, Bewegungssequenzen zu generieren, die bestimmten Bedingungen entsprechen. Text und Audio stellen die beiden vorherrschenden Modalitäten dar, die als Kontrollbedingungen für die HMS eingesetzt werden. Während die bestehende Forschung sich hauptsächlich auf Einzelbedingungen konzentriert, bleibt die Mehrbedingungs-HMS bisher untererforscht. In dieser Studie präsentieren wir einen Mehrbedingungs-HMS-Framework namens MCM, der auf einer Dual-Branch-Architektur basiert, bestehend aus einem Hauptzweig und einem Kontrollzweig. Dieser Rahmen erweitert effektiv die Anwendbarkeit des Diffusionsmodells, das ursprünglich ausschließlich auf textuelle Bedingungen angewiesen war, auf akustische Bedingungen. Diese Erweiterung umfasst sowohl die Musik-zu-Tanz- als auch die Co-Speech-HMS und bewahrt dabei die inhärente Bewegungsqualität sowie die Fähigkeit zur semantischen Assoziation, die im ursprünglichen Modell vorhanden sind. Darüber hinaus schlagen wir die Implementierung eines Transformer-basierten Diffusionsmodells, bezeichnet als MWNet, als Hauptzweig vor. Dieses Modell erfasst mit Hilfe der Integration von Multi-wise Self-Attention-Modulen effizient die räumlichen Komplexitäten und die Gelenk-zu-Gelenk-Korrelationen innerhalb von Bewegungssequenzen. Umfangreiche Experimente zeigen, dass unsere Methode sowohl bei Einzelbedingungs- als auch bei Mehrbedingungs-HMS-Aufgaben konkurrenzfähige Ergebnisse erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp