MaskHand : Modélisation masquée générative pour la reconstruction robuste de maillages de main dans des conditions réelles

La reconstruction d'un maillage 3D de la main à partir d'une seule image RGB est un défi en raison des articulations complexes, des auto-occultations et des ambiguïtés de profondeur. Les méthodes discriminatives traditionnelles, qui apprennent une correspondance déterministe entre une image 2D et un seul maillage 3D, ont souvent du mal à gérer les ambiguïtés inhérentes au processus de mapping 2D vers 3D. Pour relever ce défi, nous proposons MaskHand, un nouveau modèle génératif masqué pour la récupération de maillages de main qui synthétise des maillages 3D plausibles en apprenant et en échantillonnant la distribution probabiliste du processus de mapping 2D vers 3D ambigu. MaskHand se compose de deux composants clés : (1) un VQ-MANO, qui encode les articulations 3D de la main sous forme de jetons de pose discrets dans un espace latent, et (2) un Context-Guided Masked Transformer (CGMT) qui masque aléatoirement des jetons de pose et apprend leur distribution conjointe, conditionnée par une séquence corrompue de jetons, le contexte de l'image et les indices de pose 2D. Cette distribution apprise facilite l'échantillonnage guidé par la confiance lors de l'inférence, produisant des reconstructions de maillage avec une incertitude faible et une précision élevée. Des évaluations approfondies sur des jeux de données benchmark et réels montrent que MaskHand atteint une précision, une robustesse et une réalisme d'avant-garde dans la reconstruction de maillages 3D de la main. Site web du projet : https://m-usamasaleem.github.io/publication/MaskHand/MaskHand.html.