PBNS: Physically Based Neural Simulator for Unsupervised Garment Pose Space Deformation

Wir präsentieren eine Methodik zur automatischen Gewinnung von Pose Space Deformation (PSD)-Basen für riggierte Kleidungsstücke mittels Deep Learning. Klassische Ansätze beruhen auf physikbasierten Simulationen (PBS), um Kleidung zu animieren. Diese sind allgemeine Lösungen, die bei ausreichend feiner räumlicher und zeitlicher Diskretisierung hochrealistische Ergebnisse erzielen können. Sie sind jedoch rechenintensiv, und jede Szenenänderung erfordert eine erneute Simulation. Linear Blend Skinning (LBS) mit PSD bietet eine leichtgewichtige Alternative zu PBS, erfordert jedoch enorme Datenmengen, um korrekte PSD-Parameter zu lernen. Wir schlagen vor, Deep Learning zu nutzen, formuliert als implizite PBS, um in einem eingeschränkten Szenario – bekleidete Menschen – realistische, poseabhängige Deformationen von Kleidung ohne Überwachung zu lernen. Zudem zeigen wir, dass diese Modelle in einer Zeitspanne trainiert werden können, die vergleichbar ist mit einer PBS-Simulation für einige Sequenzen. Sofern uns bekannt, sind wir die Ersten, die einen neuronalen Simulator für Kleidung vorschlagen. Obwohl tiefenbasierte Ansätze in diesem Bereich zunehmend zur Norm werden, handelt es sich dabei um datenintensive Modelle. Zudem schlagen Autoren oft komplexe Formulierungen vor, um Falten besser aus PBS-Daten zu lernen. Supervisiertes Lernen führt zu physikalisch inkonsistenten Vorhersagen, die zur Nutzung Kollisionsbehandlung erfordern. Zudem beschränkt die Abhängigkeit von PBS-Daten die Skalierbarkeit dieser Lösungen, während ihre Formulierung deren Anwendbarkeit und Kompatibilität beeinträchtigt. Durch die Einführung einer unsupervisierten Methodik zur Lernung von PSD für LBS-Modelle (Standard in der 3D-Animation) überwinden wir beide Nachteile. Die Ergebnisse zeigen eine konsistente Kleidungsdynamik in den animierten Kleidungsstücken sowie bedeutungsvolle, poseabhängige Falten und Knitter. Unsere Lösung ist äußerst effizient, verarbeitet mehrere Schichten von Stoff, ermöglicht unsupervisiertes Skalieren von Outfits und kann problemlos auf beliebige benutzerdefinierte 3D-Avatare angewendet werden.