HyperAIHyperAI

Command Palette

Search for a command to run...

HOISDF : Contrainte de l'estimation de la pose 3D des mains et des objets avec des champs de distance signés globaux

Qi Haozhe ; Zhao Chen ; Salzmann Mathieu ; Mathis Alexander

Résumé

Les mains humaines sont hautement articulées et polyvalentes pour manipuler des objets. Estimer conjointement les poses 3D d'une main et de l'objet qu'elle manipule à partir d'une caméra monoculaire est un défi en raison des occultations fréquentes. Par conséquent, les méthodes existantes s'appuient souvent sur des représentations intermédiaires de formes 3D pour améliorer les performances. Ces représentations sont généralement explicites, comme des nuages de points 3D ou des maillages, et fournissent donc des informations dans l'environnement immédiat de l'estimation intermédiaire de la pose de la main. Pour remédier à cela, nous introduisons HOISDF, un réseau d'estimation de pose main-objet guidé par des champs de distance signés (SDF), qui exploite conjointement les SDF de la main et de l'objet pour fournir une représentation globale et implicite sur le volume complet de reconstruction. Plus précisément, le rôle des SDF est triple : doter l'encodeur visuel d'informations de forme implicites, aider à encoder les interactions main-objet, et guider la régression de la pose de la main et de l'objet grâce à l'échantillonnage basé sur SDF et en augmentant les représentations de caractéristiques. Nous montrons que HOISDF obtient des résultats d'état de l'art sur les bancs d'essai d'estimation de pose main-objet (DexYCB et HO3Dv2). Le code est disponible à l'adresse suivante : https://github.com/amathislab/HOISDF


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp