HyperAIHyperAI

Command Palette

Search for a command to run...

MaskHand : Modélisation masquée générative pour la reconstruction robuste de maillages de main dans des conditions réelles

Muhammad Usama Saleem Ekkasit Pinyoanuntapong Mayur Jagdishbhai Patel Hongfei Xue Ahmed Helmy Srijan Das Pu Wang

Résumé

La reconstruction d'un maillage 3D de la main à partir d'une seule image RGB est un défi en raison des articulations complexes, des auto-occultations et des ambiguïtés de profondeur. Les méthodes discriminatives traditionnelles, qui apprennent une correspondance déterministe entre une image 2D et un seul maillage 3D, ont souvent du mal à gérer les ambiguïtés inhérentes au processus de mapping 2D vers 3D. Pour relever ce défi, nous proposons MaskHand, un nouveau modèle génératif masqué pour la récupération de maillages de main qui synthétise des maillages 3D plausibles en apprenant et en échantillonnant la distribution probabiliste du processus de mapping 2D vers 3D ambigu. MaskHand se compose de deux composants clés : (1) un VQ-MANO, qui encode les articulations 3D de la main sous forme de jetons de pose discrets dans un espace latent, et (2) un Context-Guided Masked Transformer (CGMT) qui masque aléatoirement des jetons de pose et apprend leur distribution conjointe, conditionnée par une séquence corrompue de jetons, le contexte de l'image et les indices de pose 2D. Cette distribution apprise facilite l'échantillonnage guidé par la confiance lors de l'inférence, produisant des reconstructions de maillage avec une incertitude faible et une précision élevée. Des évaluations approfondies sur des jeux de données benchmark et réels montrent que MaskHand atteint une précision, une robustesse et une réalisme d'avant-garde dans la reconstruction de maillages 3D de la main. Site web du projet : https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MaskHand : Modélisation masquée générative pour la reconstruction robuste de maillages de main dans des conditions réelles | Articles | HyperAI