Hamba: Einzelansichtsbasierte 3D-Handrekonstruktion mit graphengeleiteter Bi-Scanning Mamba

Die 3D-Rekonstruktion von Händen aus einem einzelnen RGB-Bild ist aufgrund der artikulierten Bewegung, Selbstverdeckung und Wechselwirkung mit Objekten herausfordernd. Bestehende state-of-the-art (SOTA) Methoden verwenden aufmerksamkeitsbasierte Transformer, um die 3D-Handpose und -Form zu lernen, erreichen jedoch nicht vollständig robuste und genaue Leistungen, hauptsächlich aufgrund einer ineffizienten Modellierung der räumlichen Beziehungen zwischen den Gelenken. Um dieses Problem anzugehen, schlagen wir ein neuartiges graphengeleitetes Mamba-Framework vor, das Hamba genannt wird und die graphenbasierte Lernmethode mit dem Zustandsraummodellierung verbindet. Unser zentrales Konzept besteht darin, das Scannen des Mamba-Frameworks in ein graphengeleitetes bidirektionales Scannen für die 3D-Rekonstruktion unter Verwendung weniger effektiver Tokens umzuformulieren. Dies ermöglicht es uns, die räumlichen Beziehungen zwischen den Gelenken effizient zu erlernen, um die Rekonstruktionsleistung zu verbessern. Insbesondere entwickeln wir einen Graphengeleiteten Zustandsraum (GSS)-Block, der die graphenstrukturierten Beziehungen und räumlichen Sequenzen der Gelenke lernt und 88,5% weniger Tokens als aufmerksamkeitsbasierte Methoden verwendet. Zudem integrieren wir die Zustandsraumfeatures und globale Features mithilfe eines Fusion-Moduls. Durch die Nutzung des GSS-Blocks und des Fusion-Moduls nutzt Hamba effektiv die graphengeleiteten Zustandsraumfeatures und berücksichtigt gleichzeitig globale und lokale Features zur Verbesserung der Leistung. Experimente auf mehreren Benchmarks sowie in realistischen Tests zeigen, dass Hamba bestehende SOTAs deutlich übertrifft und eine PA-MPVPE von 5,3 mm sowie einen F@15mm von 0,992 auf FreiHAND erreicht. Zum Zeitpunkt der Annahme dieses Artikels belegt Hamba den ersten Platz in zwei Wettbewerbs-Ranglisten für 3D-Handrekonstruktion. Projektwebsite: https://humansensinglab.github.io/Hamba/