SNARF : Écorçage différentiable avant pour l'animation de formes implicites neurales non rigides

Les représentations implicites neuronales de surfaces ont émergé comme un paradigme prometteur pour capturer des formes 3D de manière continue et indépendante de la résolution. Toutefois, leur adaptation aux formes articulées s’avère non triviale. Les approches existantes apprennent un champ de déformation inverse qui associe les points déformés aux points canoniques. Ce procédé présente toutefois un inconvénient majeur : le champ de déformation inverse dépend de la configuration (pose) et nécessite donc de grandes quantités de données pour être appris efficacement. Pour remédier à ce problème, nous introduisons SNARF, une méthode qui combine les avantages du skinning linéaire par mélange (LBS) appliqué aux maillages polygonaux avec ceux des surfaces implicites neuronales, en apprenant un champ de déformation directe sans supervision directe. Ce champ de déformation est défini dans un espace canonique indépendant de la pose, permettant ainsi une généralisation à des poses inédites. L’apprentissage du champ de déformation à partir de maillages en posture seule est difficile, car les correspondances des points déformés sont définies de manière implicite et peuvent ne pas être uniques en cas de changement de topologie. Nous proposons donc un modèle de skinning direct qui détermine toutes les correspondances canoniques d’un point déformé à l’aide d’une recherche itérative de racines. Nous dérivons des gradients analytiques via la différentiation implicite, permettant une formation end-to-end à partir de maillages 3D soumis à des transformations osseuses. Par rapport aux représentations implicites neuronales de pointe, notre approche se généralise mieux à des poses inédites tout en préservant une haute précision. Nous démontrons la robustesse de notre méthode dans des scénarios difficiles, incluant des humains 3D (vêtu) dans des poses variées et inédites.