Hamba : Reconstruction 3D d'une main à partir d'une seule vue avec un balayage bi-directionnel guidé par un graphe Mamba

La reconstruction 3D de la main à partir d'une seule image RGB est un défi en raison du mouvement articulé, de l'auto-occultation et de l'interaction avec des objets. Les méthodes existantes de pointe (SOTA) utilisent des transformateurs basés sur l'attention pour apprendre la posture et la forme 3D de la main, mais elles n'atteignent pas pleinement une performance robuste et précise, principalement en raison d'un modélisation inefficace des relations spatiales entre les articulations. Pour résoudre ce problème, nous proposons un nouveau cadre guidé par graphe appelé Hamba, qui relie l'apprentissage par graphe et le modélisation d'espace d'état. Notre idée centrale consiste à reformuler le balayage de Mamba en un balayage bidirectionnel guidé par graphe pour la reconstruction 3D en utilisant quelques jetons efficaces. Cela nous permet d'apprendre efficacement les relations spatiales entre les articulations afin d'améliorer les performances de reconstruction. Plus précisément, nous concevons un bloc d'Espace d'État Guidé par Graphe (GSS) qui apprend les relations structurées par graphe et les séquences spatiales des articulations, tout en utilisant 88,5% de jetons en moins que les méthodes basées sur l'attention. De plus, nous intégrons les caractéristiques d'espace d'état et les caractéristiques globales à l'aide d'un module de fusion. En utilisant le bloc GSS et le module de fusion, Hamba exploite efficacement les caractéristiques d'espace d'état guidées par graphe et prend conjointement en compte les caractéristiques globales et locales pour améliorer les performances. Des expériences menées sur plusieurs bancs d'essai et dans des conditions réelles montrent que Hamba surpasse significativement les méthodes existantes de pointe (SOTA), atteignant une PA-MPVPE de 5,3 mm et une F@15mm de 0,992 sur FreiHAND. Au moment de l'acceptation de cet article, Hamba occupe la première place dans deux classements compétitifs sur la reconstruction 3D de la main.Site web du projet : https://humansensinglab.github.io/Hamba/