gSDF : Fonctions de distance signée guidées par la géométrie pour la reconstruction 3D de la main et des objets

Les fonctions de distance signée (SDFs) constituent un cadre attractif qui a récemment montré des résultats prometteurs pour la reconstruction de formes 3D à partir d'images. Les SDFs s'adaptent sans heurts à différentes résolutions et topologies de forme, mais elles manquent d'un modèle explicite de la géométrie sous-jacente. Dans ce travail, nous exploitons la structure de la main et l'utilisons comme guide pour la reconstruction de forme basée sur les SDFs. Plus précisément, nous abordons la reconstruction des mains et des objets manipulés à partir d'images RGB monoculaires. À cette fin, nous estimons les poses des mains et des objets et les utilisons pour guider la reconstruction 3D. De manière plus spécifique, nous prédisons les chaînes cinématiques de transformations de pose et alignons les SDFs avec des poses de main hautement articulées. Nous améliorons les caractéristiques visuelles des points 3D grâce à l'alignement géométrique et utilisons davantage les informations temporelles pour renforcer la robustesse face aux occultations et aux flous de mouvement. Nous menons des expériences approfondies sur les bancs d'essai difficiles ObMan et DexYCB, démontrant des améliorations significatives de notre méthode par rapport à l'état de l'art.