SCANimate: Schwach beschriftetes Lernen von skinierten, bekleideten Avatar-Netzwerken

Wir präsentieren SCANimate, einen end-to-end trainierbaren Rahmen, der rohe 3D-Scans gekleideter Menschen in animierbare Avatare umwandelt. Diese Avatare werden durch Pose-Parameter gesteuert und verfügen über realistische Kleidung, die natürlich bewegt und sich dehnt. SCANimate basiert nicht auf einem maßgeschneiderten Mesh-Template oder einer Oberflächenregistrierung. Wir beobachten, dass die Anpassung eines parametrischen 3D-Körpermodells wie SMPL an einen gekleideten Menschenscan praktikabel ist, während die Registrierung der Körper-Topologie an den Scan oft nicht gelingt, da Kleidung erheblich von der Körperform abweichen kann. Außerdem stellen wir fest, dass artikulierte Transformationen umkehrbar sind, was zu einer geometrischen Zykluskonsistenz zwischen pose- und unpose-bedingten Formen führt. Diese Beobachtungen führen uns zu einem schwach überwachten Lernansatz, der Scans durch Trennung artikulierter Deformationen in eine kanonische Pose ausrichtet, ohne eine template-basierte Oberflächenregistrierung zu benötigen. Darüber hinaus führen wir eine lokal pose-orientierte implizite Funktion ein, um fehlende Bereiche in den ausgerichteten Scans zu ergänzen und gleichzeitig poseabhängige Deformationen zu modellieren. Diese Funktion lernt, die Geometrie durch gelernte Pose-Korrektive zu vervollständigen und zu modellieren. Im Gegensatz zu üblicherweise verwendeten globalen Pose-Embeddings reduziert unsere lokale Pose-Konditionierung signifikant langreichweitige irreführende Korrelationen und verbessert die Generalisierbarkeit auf unbekannte Posen, insbesondere wenn die Trainingsdaten begrenzt sind. Unser Verfahren lässt sich auch auf pose-orientierte Erscheinungsmodellierung anwenden, um vollständig texturierte Avatare zu generieren. Wir demonstrieren unsere Methode an verschiedenen Kleidungstypen und unterschiedlichen Mengen an Trainingsdaten und erreichen in jedem Szenario eine höhere Fidelität und Allgemeingültigkeit im Vergleich zu bestehenden Lösungen und anderen Varianten. Der Quellcode ist unter https://scanimate.is.tue.mpg.de verfügbar.