SNARF: Differentiable Forward Skinning für die Animation nicht-rigider neuraler impliziter Formen

Neuronale implizite Oberflächenrepräsentationen sind zu einem vielversprechenden Paradigma geworden, um 3D-Formen kontinuierlich und auflösungsunabhängig zu erfassen. Die Anpassung an bewegliche (artikulierte) Formen stellt jedoch eine nicht triviale Herausforderung dar. Bisherige Ansätze lernen ein Rückwärts-Warp-Feld, das deformierte Punkte auf kanonische Punkte abbildet. Dies ist jedoch problematisch, da das Rückwärts-Warp-Feld poseabhängig ist und somit große Mengen an Trainingsdaten erfordert. Um dieses Problem zu lösen, stellen wir SNARF vor, das die Vorteile der linearen Blend-Skinning-(LBS)-Technik für polygonale Meshes mit denen neuronaler impliziter Oberflächen verbindet, indem es ein Vorwärts-Deformationsfeld ohne direkte Supervision lernt. Dieses Deformationsfeld ist in kanonischer, poseunabhängiger Raumzeit definiert und ermöglicht somit eine Generalisierung auf unbekannte Pose. Die Lernung des Deformationsfelds allein aus bepunkteten Meshes ist herausfordernd, da die Korrespondenzen deformierter Punkte implizit definiert sind und sich unter Topologieänderungen nicht eindeutig bestimmen lassen. Wir schlagen ein Vorwärts-Skinning-Modell vor, das mithilfe iterativer Nullstellenfindung alle kanonischen Korrespondenzen eines beliebigen deformierten Punktes ermittelt. Wir leiten analytische Gradienten mittels impliziter Differentiation ab, was eine end-to-end-Trainierung aus 3D-Meshes mit Knochen-Transformationen ermöglicht. Im Vergleich zu state-of-the-art neuronale implizite Darstellungen generalisiert unsere Methode besser auf unbekannte Posen, während die Genauigkeit erhalten bleibt. Wir demonstrieren die Wirksamkeit unseres Ansatzes an anspruchsvollen Szenarien mit (bekleideten) 3D-Menschen in vielfältigen und unbekannten Pose.