HyperAIHyperAI

Command Palette

Search for a command to run...

SNARF: Differentiable Forward Skinning für die Animation nicht-rigider neuraler impliziter Formen

Xu Chen Yufeng Zheng Michael J. Black Otmar Hilliges Andreas Geiger

Zusammenfassung

Neuronale implizite Oberflächenrepräsentationen sind zu einem vielversprechenden Paradigma geworden, um 3D-Formen kontinuierlich und auflösungsunabhängig zu erfassen. Die Anpassung an bewegliche (artikulierte) Formen stellt jedoch eine nicht triviale Herausforderung dar. Bisherige Ansätze lernen ein Rückwärts-Warp-Feld, das deformierte Punkte auf kanonische Punkte abbildet. Dies ist jedoch problematisch, da das Rückwärts-Warp-Feld poseabhängig ist und somit große Mengen an Trainingsdaten erfordert. Um dieses Problem zu lösen, stellen wir SNARF vor, das die Vorteile der linearen Blend-Skinning-(LBS)-Technik für polygonale Meshes mit denen neuronaler impliziter Oberflächen verbindet, indem es ein Vorwärts-Deformationsfeld ohne direkte Supervision lernt. Dieses Deformationsfeld ist in kanonischer, poseunabhängiger Raumzeit definiert und ermöglicht somit eine Generalisierung auf unbekannte Pose. Die Lernung des Deformationsfelds allein aus bepunkteten Meshes ist herausfordernd, da die Korrespondenzen deformierter Punkte implizit definiert sind und sich unter Topologieänderungen nicht eindeutig bestimmen lassen. Wir schlagen ein Vorwärts-Skinning-Modell vor, das mithilfe iterativer Nullstellenfindung alle kanonischen Korrespondenzen eines beliebigen deformierten Punktes ermittelt. Wir leiten analytische Gradienten mittels impliziter Differentiation ab, was eine end-to-end-Trainierung aus 3D-Meshes mit Knochen-Transformationen ermöglicht. Im Vergleich zu state-of-the-art neuronale implizite Darstellungen generalisiert unsere Methode besser auf unbekannte Posen, während die Genauigkeit erhalten bleibt. Wir demonstrieren die Wirksamkeit unseres Ansatzes an anspruchsvollen Szenarien mit (bekleideten) 3D-Menschen in vielfältigen und unbekannten Pose.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SNARF: Differentiable Forward Skinning für die Animation nicht-rigider neuraler impliziter Formen | Paper | HyperAI