AlignSDF : Champs de distance signés alignés pour la reconstruction main-objet

Des travaux récents ont réalisé des progrès impressionnants vers la reconstruction conjointe des mains et des objets manipulés à partir d'images monoculaires en couleur. Les méthodes existantes se concentrent sur deux représentations alternatives, soit des maillages paramétriques, soit des champs de distances signées (SDF). D'un côté, les modèles paramétriques peuvent bénéficier de connaissances a priori au prix de déformations limitées et de résolutions de maillage restreintes. Ainsi, les modèles de maillage peuvent échouer à reconstruire précisément des détails tels que les surfaces de contact entre les mains et les objets. De l'autre côté, les méthodes basées sur les SDF peuvent représenter des détails arbitraires mais manquent de priors explicites. Dans ce travail, nous visons à améliorer les modèles SDF en utilisant les priors fournis par les représentations paramétriques. Plus particulièrement, nous proposons un cadre d'apprentissage conjoint qui dissocie la posture et la forme. Nous obtenons les postures des mains et des objets à partir des modèles paramétriques et nous les utilisons pour aligner les SDF dans l'espace 3D. Nous montrons que ces SDF alignés se concentrent davantage sur la reconstruction des détails de forme et améliorent la précision de reconstruction tant pour les mains que pour les objets. Nous évaluons notre méthode et démontrons des améliorations significatives par rapport à l'état de l'art sur les benchmarks difficiles ObMan et DexYCB.