HyperAIHyperAI

Command Palette

Search for a command to run...

Hamba: Einzelansichtsbasierte 3D-Handrekonstruktion mit graphengeleiteter Bi-Scanning Mamba

Haoye Dong Aviral Chharia Wenbo Gou Francisco Vicente Carrasco Fernando De la Torre

Zusammenfassung

Die 3D-Rekonstruktion von Händen aus einem einzelnen RGB-Bild ist aufgrund der artikulierten Bewegung, Selbstverdeckung und Wechselwirkung mit Objekten herausfordernd. Bestehende state-of-the-art (SOTA) Methoden verwenden aufmerksamkeitsbasierte Transformer, um die 3D-Handpose und -Form zu lernen, erreichen jedoch nicht vollständig robuste und genaue Leistungen, hauptsächlich aufgrund einer ineffizienten Modellierung der räumlichen Beziehungen zwischen den Gelenken. Um dieses Problem anzugehen, schlagen wir ein neuartiges graphengeleitetes Mamba-Framework vor, das Hamba genannt wird und die graphenbasierte Lernmethode mit dem Zustandsraummodellierung verbindet. Unser zentrales Konzept besteht darin, das Scannen des Mamba-Frameworks in ein graphengeleitetes bidirektionales Scannen für die 3D-Rekonstruktion unter Verwendung weniger effektiver Tokens umzuformulieren. Dies ermöglicht es uns, die räumlichen Beziehungen zwischen den Gelenken effizient zu erlernen, um die Rekonstruktionsleistung zu verbessern. Insbesondere entwickeln wir einen Graphengeleiteten Zustandsraum (GSS)-Block, der die graphenstrukturierten Beziehungen und räumlichen Sequenzen der Gelenke lernt und 88,5% weniger Tokens als aufmerksamkeitsbasierte Methoden verwendet. Zudem integrieren wir die Zustandsraumfeatures und globale Features mithilfe eines Fusion-Moduls. Durch die Nutzung des GSS-Blocks und des Fusion-Moduls nutzt Hamba effektiv die graphengeleiteten Zustandsraumfeatures und berücksichtigt gleichzeitig globale und lokale Features zur Verbesserung der Leistung. Experimente auf mehreren Benchmarks sowie in realistischen Tests zeigen, dass Hamba bestehende SOTAs deutlich übertrifft und eine PA-MPVPE von 5,3 mm sowie einen F@15mm von 0,992 auf FreiHAND erreicht. Zum Zeitpunkt der Annahme dieses Artikels belegt Hamba den ersten Platz in zwei Wettbewerbs-Ranglisten für 3D-Handrekonstruktion. Projektwebsite: https://humansensinglab.github.io/Hamba/


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp