Music2Dance: DanceNet für die musikgetriebene Tanzgenerierung

Die Synthese menschlicher Bewegungen aus Musik, also die Umwandlung von Musik in Tanz, ist in den letzten Jahren äußerst attraktiv und hat zahlreiche Forschungsinteressen geweckt. Dieses Problem ist herausfordernd, da nicht nur realistische und komplexe menschliche Bewegungen für den Tanz erforderlich sind, sondern vor allem auch die generierten Bewegungen stilistisch, rhythmisch und melodisch mit der zugrundeliegenden Musik konsistent sein müssen. In diesem Artikel stellen wir ein neuartiges autoregressives Generativmodell namens DanceNet vor, das Stil, Rhythmus und Melodie einer Musik als Steuersignale nutzt, um 3D-Tanzbewegungen mit hoher Realitätsnähe und Vielfalt zu generieren. Um die Leistungsfähigkeit unseres Modells zu verbessern, haben wir mehrere synchronisierte Musik-Tanz-Paare mit professionellen Tänzern erfasst und damit eine hochwertige Musik-Tanz-Datensammlung aufgebaut. Experimente haben gezeigt, dass die vorgeschlagene Methode Ergebnisse auf dem Stand der Technik erreicht.