MCM: Mehrbedingungs-basiertes Syntheserframework für Bewegungen

Die bedingte menschliche Bewegungssynthese (HMS) zielt darauf ab, Bewegungssequenzen zu generieren, die bestimmten Bedingungen entsprechen. Text und Audio stellen die beiden vorherrschenden Modalitäten dar, die als Kontrollbedingungen für die HMS eingesetzt werden. Während die bestehende Forschung sich hauptsächlich auf Einzelbedingungen konzentriert, bleibt die Mehrbedingungs-HMS bisher untererforscht. In dieser Studie präsentieren wir einen Mehrbedingungs-HMS-Framework namens MCM, der auf einer Dual-Branch-Architektur basiert, bestehend aus einem Hauptzweig und einem Kontrollzweig. Dieser Rahmen erweitert effektiv die Anwendbarkeit des Diffusionsmodells, das ursprünglich ausschließlich auf textuelle Bedingungen angewiesen war, auf akustische Bedingungen. Diese Erweiterung umfasst sowohl die Musik-zu-Tanz- als auch die Co-Speech-HMS und bewahrt dabei die inhärente Bewegungsqualität sowie die Fähigkeit zur semantischen Assoziation, die im ursprünglichen Modell vorhanden sind. Darüber hinaus schlagen wir die Implementierung eines Transformer-basierten Diffusionsmodells, bezeichnet als MWNet, als Hauptzweig vor. Dieses Modell erfasst mit Hilfe der Integration von Multi-wise Self-Attention-Modulen effizient die räumlichen Komplexitäten und die Gelenk-zu-Gelenk-Korrelationen innerhalb von Bewegungssequenzen. Umfangreiche Experimente zeigen, dass unsere Methode sowohl bei Einzelbedingungs- als auch bei Mehrbedingungs-HMS-Aufgaben konkurrenzfähige Ergebnisse erzielt.