GUESS: Gradual Enhanced Synthese für textgesteuerte Generierung menschlicher Bewegung

In diesem Artikel stellen wir einen neuartigen, kaskadenartigen, auf Diffusion basierenden Generativrahmen für die textgesteuerte Synthese menschlicher Bewegungen vor, der eine Strategie namens GradUally Enriching SyntheSis (GUESS, abgekürzt) nutzt. Diese Strategie definiert Generierungsziele, indem sie Körpergelenke detaillierter Skelette in engem semantischen Zusammenhang zusammenfasst und anschließend jeweils jede solche Gelenkgruppe durch einen einzigen Körperteil-Knoten ersetzt. Diese Operation abstrahiert rekursiv eine menschliche Pose schrittweise auf gröber werdende Skelette auf mehreren Granularitätsstufen. Mit zunehmender Abstraktionsebene wird die menschliche Bewegung zunehmend kompakter und stabiler, was der Aufgabe der multimodalen Bewegungssynthese erheblich zugutekommt. Das gesamte Problem der textgesteuerten menschlichen Bewegungssynthese wird anschließend in mehrere Abstraktionsebenen zerlegt und mit einem mehrstufigen Generierungsrahmen gelöst, der auf einem kaskadierten latenzbasierten Diffusionsmodell beruht: Zunächst generiert ein Initial-Generator eine grobe Bewegungsschätzung aus einer gegebenen Textbeschreibung; danach erweitern eine Reihe aufeinanderfolgender Generatoren schrittweise die Bewegungsdetails basierend auf der Textbeschreibung und den vorherigen Syntheseegebnissen. Insbesondere integrieren wir GUESS zudem mit einem vorgeschlagenen dynamischen Mehrbedingungs-Fusionsmechanismus, um die kooperativen Effekte der gegebenen Textbedingung und der synthetisierten groben Bewegungsaufforderung in den verschiedenen Generierungsstufen dynamisch zu balancieren. Umfangreiche Experimente auf großskaligen Datensätzen bestätigen, dass GUESS bestehende state-of-the-art-Methoden hinsichtlich Genauigkeit, Realitätsnähe und Vielfalt deutlich übertrifft. Der Quellcode ist unter https://github.com/Xuehao-Gao/GUESS verfügbar.