HyperAIHyperAI

Command Palette

Search for a command to run...

SCANimate: Schwach beschriftetes Lernen von skinierten, bekleideten Avatar-Netzwerken

Shunsuke Saito Jinlong Yang Qianli Ma Michael J. Black

Zusammenfassung

Wir präsentieren SCANimate, einen end-to-end trainierbaren Rahmen, der rohe 3D-Scans gekleideter Menschen in animierbare Avatare umwandelt. Diese Avatare werden durch Pose-Parameter gesteuert und verfügen über realistische Kleidung, die natürlich bewegt und sich dehnt. SCANimate basiert nicht auf einem maßgeschneiderten Mesh-Template oder einer Oberflächenregistrierung. Wir beobachten, dass die Anpassung eines parametrischen 3D-Körpermodells wie SMPL an einen gekleideten Menschenscan praktikabel ist, während die Registrierung der Körper-Topologie an den Scan oft nicht gelingt, da Kleidung erheblich von der Körperform abweichen kann. Außerdem stellen wir fest, dass artikulierte Transformationen umkehrbar sind, was zu einer geometrischen Zykluskonsistenz zwischen pose- und unpose-bedingten Formen führt. Diese Beobachtungen führen uns zu einem schwach überwachten Lernansatz, der Scans durch Trennung artikulierter Deformationen in eine kanonische Pose ausrichtet, ohne eine template-basierte Oberflächenregistrierung zu benötigen. Darüber hinaus führen wir eine lokal pose-orientierte implizite Funktion ein, um fehlende Bereiche in den ausgerichteten Scans zu ergänzen und gleichzeitig poseabhängige Deformationen zu modellieren. Diese Funktion lernt, die Geometrie durch gelernte Pose-Korrektive zu vervollständigen und zu modellieren. Im Gegensatz zu üblicherweise verwendeten globalen Pose-Embeddings reduziert unsere lokale Pose-Konditionierung signifikant langreichweitige irreführende Korrelationen und verbessert die Generalisierbarkeit auf unbekannte Posen, insbesondere wenn die Trainingsdaten begrenzt sind. Unser Verfahren lässt sich auch auf pose-orientierte Erscheinungsmodellierung anwenden, um vollständig texturierte Avatare zu generieren. Wir demonstrieren unsere Methode an verschiedenen Kleidungstypen und unterschiedlichen Mengen an Trainingsdaten und erreichen in jedem Szenario eine höhere Fidelität und Allgemeingültigkeit im Vergleich zu bestehenden Lösungen und anderen Varianten. Der Quellcode ist unter https://scanimate.is.tue.mpg.de verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SCANimate: Schwach beschriftetes Lernen von skinierten, bekleideten Avatar-Netzwerken | Paper | HyperAI