HyperAIHyperAI

Command Palette

Search for a command to run...

AlignSDF : Champs de distance signés alignés pour la reconstruction main-objet

Zerui Chen Yana Hasson Cordelia Schmid Ivan Laptev

Résumé

Des travaux récents ont réalisé des progrès impressionnants vers la reconstruction conjointe des mains et des objets manipulés à partir d'images monoculaires en couleur. Les méthodes existantes se concentrent sur deux représentations alternatives, soit des maillages paramétriques, soit des champs de distances signées (SDF). D'un côté, les modèles paramétriques peuvent bénéficier de connaissances a priori au prix de déformations limitées et de résolutions de maillage restreintes. Ainsi, les modèles de maillage peuvent échouer à reconstruire précisément des détails tels que les surfaces de contact entre les mains et les objets. De l'autre côté, les méthodes basées sur les SDF peuvent représenter des détails arbitraires mais manquent de priors explicites. Dans ce travail, nous visons à améliorer les modèles SDF en utilisant les priors fournis par les représentations paramétriques. Plus particulièrement, nous proposons un cadre d'apprentissage conjoint qui dissocie la posture et la forme. Nous obtenons les postures des mains et des objets à partir des modèles paramétriques et nous les utilisons pour aligner les SDF dans l'espace 3D. Nous montrons que ces SDF alignés se concentrent davantage sur la reconstruction des détails de forme et améliorent la précision de reconstruction tant pour les mains que pour les objets. Nous évaluons notre méthode et démontrons des améliorations significatives par rapport à l'état de l'art sur les benchmarks difficiles ObMan et DexYCB.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp