Reconstruction 3D de la main par agrégation de graphes intra et inter guidés par des connaissances a priori pour les scénarios d'interaction main-objet

Récemment, la reconstruction 3D de la main a suscité davantage d'attention dans le domaine de la coopération homme-ordinateur, en particulier pour les scénarios d'interaction main-objet. Cependant, elle reste un défi majeur en raison des occlusions sévères de la main causées par l'interaction, qui impliquent un équilibre entre précision et plausibilité physique, une correspondance hautement non linéaire des paramètres du modèle et l'amélioration des caractéristiques d'occlusion. Pour surmonter ces problèmes, nous proposons un réseau de reconstruction 3D de la main combinant les avantages des approches basées sur un modèle et des approches sans modèle afin d'équilibrer précision et plausibilité physique dans les scénarios d'interaction main-objet.Tout d'abord, nous présentons un nouveau module de régression des paramètres de pose MANO à partir des articulations 2D directement, ce qui évite le processus de correspondance hautement non linéaire à partir de caractéristiques d'image abstraites et ne dépend plus de l'exactitude des articulations 3D. De plus, nous proposons un modèle d'attention mutuelle guidée par MANO entre sommets et articulations pour affiner conjointement les maillages et les articulations de la main. Ce modèle modélise les dépendances entre sommet-sommet et articulation-articulation, ainsi que la corrélation entre sommet-articulation pour agrégater respectivement les caractéristiques nodales intra-graphe et inter-graphe.Les résultats expérimentaux montrent que notre méthode atteint une performance compétitive sur les jeux de données récents HO3DV2 et Dex-YCB, surpassant toutes les approches uniquement basées sur un modèle ou sans modèle.