HOISDF : Contrainte de l'estimation de la pose 3D des mains et des objets avec des champs de distance signés globaux

Les mains humaines sont hautement articulées et polyvalentes pour manipuler des objets. Estimer conjointement les poses 3D d'une main et de l'objet qu'elle manipule à partir d'une caméra monoculaire est un défi en raison des occultations fréquentes. Par conséquent, les méthodes existantes s'appuient souvent sur des représentations intermédiaires de formes 3D pour améliorer les performances. Ces représentations sont généralement explicites, comme des nuages de points 3D ou des maillages, et fournissent donc des informations dans l'environnement immédiat de l'estimation intermédiaire de la pose de la main. Pour remédier à cela, nous introduisons HOISDF, un réseau d'estimation de pose main-objet guidé par des champs de distance signés (SDF), qui exploite conjointement les SDF de la main et de l'objet pour fournir une représentation globale et implicite sur le volume complet de reconstruction. Plus précisément, le rôle des SDF est triple : doter l'encodeur visuel d'informations de forme implicites, aider à encoder les interactions main-objet, et guider la régression de la pose de la main et de l'objet grâce à l'échantillonnage basé sur SDF et en augmentant les représentations de caractéristiques. Nous montrons que HOISDF obtient des résultats d'état de l'art sur les bancs d'essai d'estimation de pose main-objet (DexYCB et HO3Dv2). Le code est disponible à l'adresse suivante : https://github.com/amathislab/HOISDF