GTC '19 Classic-Testbericht | Wie Choreografiert Und Kreiert Man Tänze in Der Zweiten Dimension?

Auf der GTC China 2019, die kürzlich in Suzhou stattfand, stellte das NetEase Leihuo Fuxi Laboratory sein KI-Choreographieprojekt zur Verbesserung der Leistung von Animationen in Spielen vor. Indem wir KI mit traditioneller manueller Choreografietechnologie ausstatten, können wir in kürzerer Zeit Tanzinhalte erhalten, die der Spielqualität entsprechen. Dadurch können mehr Spieler zur Interaktion und zum Austausch ermutigt und gleichzeitig der Öffentlichkeit Singpoesie, Lieder und Tänze in Form von Spielen präsentiert werden.

Tang Shiyi ist ein nationaler Spitzenschauspieler des China National Opera and Dance Theater und hat viele große nationale Tanzwettbewerbe gewonnen. „Against the Current“, ein Kampfkunst-Onlinespiel von NetEase Leihuo Fuxi Laboratory, ist eine Adaption von Wen Ruians Roman „Die Vier“.

Wer hätte gedacht, dass Tang Shiyi eines Tages einen Motion-Capture-Anzug tragen und im Produktionsteam von „Against the Cold“ auftreten würde. Ihre anmutige Tanzhaltung und der Charme jedes ihrer Blicke spiegelten sich sofort auf die Spielfigur Li Shishi wider.

Dies ist ein Teil der Choreografie, die das Entwicklerteam von „Against the Water Cold“ mithilfe von KI aufführt. Das Entwicklungsteam arbeitet mit dem Team des China National Opera and Dance Theater zusammen und hofft, die chinesische Kultur und den klassischen Tanz in das Spiel zu integrieren, sodass dieser kulturelle Schatz in Form von Spielelementen weitergegeben werden kann.

Um die Qualität und Kreativität der Animation zu verbessern, werden nicht nur professionelle Choreografen eingeladen, um Tänze zur entsprechenden Musik zu choreografieren,Das Team wandte außerdem künstliche Intelligenz auf den Choreografieprozess an, sodass die KI lernen konnte, auf der Grundlage dieser professionellen Bewegungen Tänze zu choreografieren, die zu unterschiedlicher Musik passen.

 Das Leihuo Fuxi Laboratory nutzt KI, um ein besseres Spielerlebnis zu schaffen

NetEase Leihuo Fuxi Laboratory (im Folgenden „Labor“ genannt), eine Tochtergesellschaft der NetEase Group, wurde 2007 gegründet und ist NetEases erstes Spielestudio in Hangzhou. Das Labor hat nacheinander drei Flaggschiff-Spielemarken entwickelt: „A Chinese Ghost Story“, „Tianyu“ und „Ni Shui Han“ und Versuche in den Bereichen Action, Sport und Casual Games unternommen.

In den letzten Jahren hat das Labor seine Anstrengungen im Bereich der KI fortgesetzt und mehrere KI-gestützte Anwendungen in Spielen eingeführt, um den Spielern ein Spielerlebnis im technologischen Zeitalter zu bieten. So kommen beispielsweise in „Trendy Basketball“ die von mehreren intelligenten Agenten trainierten 3v3-Kampfroboter zum Einsatz; In „Sky: Children of the Light“ werden Algorithmen der künstlichen Intelligenz verwendet, um Cheats zu erkennen.

Beim Tanzchoreografieprojekt für die Figuren in „Against the Water“ setzte das Labor außerdem künstliche Intelligenz ein, um die Animationsleistung im Spiel zu verbessern und die Effizienz der Choreografie zu steigern.Mithilfe der KI-Technologie können Spieler nicht nur die Tanzbewegungen der Charaktere selbst festlegen, sondern auch die Szene und Beleuchtung gestalten und ihrer Kreativität freien Lauf lassen.

Wie wird die KI-Choreografie-Technologie umgesetzt? Hören wir uns die ausführliche Erklärung der Entwickler hinter dieser Technologie an. 

Traditionelle Choreographie ist ineffizient. Wie kann man das Problem lösen?

Auf der GTC China 2019, die am 19. Dezember dieses Jahres in Suzhou stattfand, hielt Wen Xiang, ein leitender Algorithmus-Ingenieur vom NetEase Leihuo Fuxi Lab, eine Rede mit dem Titel《Intelligentes Choreographiesystem basierend auf Videoinformationsführung》Der Vortrag führte uns dazu, zu erkunden, wie man mit künstlicher Intelligenz Choreografien erstellt.

Wen Xiang führte ein, dass Tanzen bei den Nutzern leicht Anklang finden kann, alsoImmer mehr Szenen werden auf Tanzinhalten basieren.Interagieren Sie mit Spielern. Beispielsweise Szenarien wie elektronische Spiele und VR-Interaktionen. Wen Xiang und sein intelligentes Animationsteam hoffen auch,Nutzen Sie Technologie, um die Effizienz der Animationsproduktion zu verbessern und die Leistung der Animation zu steigern.

Für die Produktion von Animations- und TanzinhaltenEs gibt zwei traditionelle Methoden:Eine davon besteht darin, dass professionelle Choreografen den Tanz entsprechend der Musik arrangieren und professionelle Ausrüstung verwenden, um die Tanzbewegungen zu trennen, die dann von professionellen Animatoren modifiziert werden, um das endgültige Werk zu erhalten. Die andere Möglichkeit besteht darin, dass bei der Massenproduktion von Tanzinhalten ein erfahrener Tänzer die Musik schneidet und dann die bereits fertigen Tanzbewegungen in die Musik einfügt.

Beide Methoden sind jedoch sehr zeit- und arbeitsintensiv.Wen Xiang und sein Team fragten sich daher, ob sie mithilfe künstlicher Intelligenz den Choreografieprozess optimieren und automatisch passende Tanzschritte basierend auf einem Musikstück entwickeln könnten. Sie setzen Ideen in die Tat um. 

Nach dem Hören von Musik und Ansehen von Videos lernte die KI Choreografie

Die Probleme, mit denen das Team anfangs konfrontiert war, bestanden darin, dass die Daten zu Musik- und Tanzbewegungen einerseits viel Rauschen enthielten; Andererseits entsprach die Datenmenge nicht den Erwartungen. Um diese Probleme zu lösen, entdeckte das Team, dass es auf Plattformen wie Tik Tok und YouTube viele professionelle Choreografievideos gibt, die Musik und 2D-Skelettinformationen enthalten. Sie können den vorhandenen 2D-Skelett-Algorithmus verwenden, um die 2D-Skelettinformationen der Musik zu analysieren und sie schließlich mit 3D-Bewegungen abzugleichen. Basierend auf dieser Idee wurde das Projekt KI-Choreografie ins Leben gerufen.

 Erster Schritt der KI-Choreografie: Musik-Bewegungs-Übersetzungsnetzwerk 

Der erste Schritt in der KI-Choreografie besteht darin, Musik und Tanzbewegungen in nutzbare Daten zu übersetzen, nämlich das Audio-Motion Interpreter Network.

Wählen Sie zunächst eine bestimmte Anzahl professioneller Tanzvideos von YouTube aus, darunter Urban, Hip-Hop, chinesischer Tanz und andere Arten. Dann greifen Sie etwa 200 Proben, jede Probe 3 ~ 6 Minuten, verwenden 2D-Skeletterkennung, Vorverarbeitung der Daten.

Das Team hat einige ethische Regeln für Probleme wie Storyboards, Okklusion und schnelle Kamerabewegungen hinzugefügt, die die Anzeige des 2D-Skeletts beeinflussen würden. Nach der Verarbeitung werden Musik- und 2D-Skelettdaten erhalten.

Mithilfe von Deep Learning menschliche Tanzhaltungen aus 2D-Skelettdaten extrahierenAnschließend nutzte das TeamMixture Density Network (MDN) zur detaillierten Vorhersage der Körperhaltung,um die Bewegungen an die Musik anzupassen. Der Kern dieses Schrittes besteht darin, zur Musik passende 2D-Skelettbewegungsinformationen zu erhalten.

 KI-Choreografie Schritt 2: Phasenbasiertes 3D-Motion-Matching 

Der zweite Schritt besteht darin, die 3D-Bewegung an die 2D-Bewegungsinformationen des Skeletts anzupassen. Dies wird als phasenbasiertes Tanz-Matching bezeichnet.

Dieser Schritt basiert hauptsächlich auf einem Matching auf Grundlage der Analyse der Handlungsorientierung. Zu den Elementen zählen hierGlobale Bewegungsmerkmale und lokale Kurveninformationen,Beispielsweise Informationen zu den Rundungen des Ober- oder Unterkörpers. Anschließend werden die Sätze, basierend auf der Theorie, dass 16 Schläge einen Zyklus bilden, in Stücke zerlegt. Im Prozess der Segmentierung ist es nicht zufällig, sondern basiert auf einer Haltepunkt Die Bewegung an diesem Punkt wird oft als Wendepunkt der Tanzbewegung angesehen.

Auf diese Weise kann eine Tanzbewegung in mehrere Unterbewegungen unterteilt werden. Diese Aktionen werden dann mit den Aktionsinformationen in der 3D-Aktionsbibliothek abgeglichen. Jedes Spiel wird gewertet und die Aktion mit der höchsten Punktzahl ist das endgültige, sinnvollste und schönste Ergebnis. Durch diese Anpassung wird dann schließlich die Musik eingegeben, um vollständige 3D-Tanzbewegungen zu erhalten.

 Der dritte Schritt der KI-Choreografie besteht darin, den Tanz professioneller zu gestalten und Bewegungsvariablen hinzuzufügen 

Das Abschließen der Aktionszuordnung ist nicht alles. Das Team stellte fest, dass bei Aktivitäten wie Dance Storm und Street Dance Battle der Tanz der Experten immer etwas anders aussieht. Durch Beobachtung fanden sie heraus, dass der HauptgrundMusik-CheckoutIn einigen Aspekten werden die Experten unterschiedlicher Meinung sein.

Deshalb schloss sich das TeamAnimationsverzerrung,Ich hoffe nur, dass AI Matching dies auch kann. Wenn sie daher den nächstgelegenen Tipppunkt für die Musik erreichen, dehnen oder komprimieren sie den Musikpunkt und beschleunigen die Aktionskurve stärker, wenn sie sich dem Tipppunkt nähern.Erzielen Sie eine höhere Passgenauigkeit im Trittpunkt.

KI-Choreografie inspiriert grenzenlose Fantasie

Es wird berichtet, dass das Projekt angewendet wurde aufMarketing-Tools, SpieleIm Spiel „Ni Shui Han“ nutzten einige Spieler sogar KI-Choreografien, um die männlichen Spielfiguren bezaubernd tanzen zu lassen und so die Aufmerksamkeit der Internetnutzer auf sich zu ziehen.

Um zu vermeiden, dass immer der gleiche Tanz produziert wird, fügte das Team dem Ausgabenetzwerk außerdem Zufälligkeit hinzu. Daher führt dieselbe Musik zu unterschiedlichen Tänzen, und die Spieler müssen sich keine Sorgen machen, dass sie bei der Arbeit „dieselbe Kleidung tragen“.

Es muss gesagt werden, dass mit Hilfe der KI-Technologie die chinesische Kultur in Spielelemente umgewandelt, der Öffentlichkeit präsentiert und weiter verbreitet werden kann. Gleichzeitig wird das Spiel interessanter und persönlicher.

Um es mit den Worten von Li Renjie, dem Leiter des Fuxi Artificial Intelligence Laboratory von NetEase, auszudrücken: „KI macht Spiele besser und die Welt zu einem besseren Ort.“

-- über--