HyperAIHyperAI

Command Palette

Search for a command to run...

HandOS: 3D-Handrekonstruktion in einer Stufe

Xingyu Chen Zhuheng Song Xiaoke Jiang Yaoqing Hu Junzhi Yu Lei Zhang

Zusammenfassung

Bestehende Ansätze zur Handrekonstruktion folgen überwiegend einem mehrstufigen Framework, das Detektion, Links-Rechts-Klassifikation und Pose-Schätzung umfasst. Dieses Paradigma führt zu redundanten Berechnungen und kumulativen Fehlern. In dieser Arbeit schlagen wir HandOS vor, ein End-to-End-Framework für die 3D-Handrekonstruktion. Unser zentrales Motiv besteht darin, einen gefrorenen Detektor als Grundlage zu nutzen und zusätzliche Module für die Schätzung von 2D- und 3D-Landmarken zu integrieren. Auf diese Weise integrieren wir die Fähigkeit zur Pose-Schätzung in das Detektionsframework, während wir gleichzeitig die Notwendigkeit der Verwendung der Links-Rechts-Kategorie als Voraussetzung beseitigen. Insbesondere schlagen wir einen interaktiven 2D-3D-Decodierer vor, bei dem die Semantik der 2D-Gelenke aus den Detektionshinweisen abgeleitet wird, während die 3D-Darstellung aus den Darstellungen der 2D-Gelenke erhoben wird. Des Weiteren wurde eine hierarchische Aufmerksamkeit entwickelt, um die gleichzeitige Modellierung von 2D-Gelenken, 3D-Eckenpunkten und Kameratranslation zu ermöglichen. Somit erreichen wir eine End-to-End-Integration von Handdetektion, 2D-Pose-Schätzung und 3D-Mesh-Rekonstruktion innerhalb eines einstufigen Frameworks, wodurch die oben genannten Nachteile des mehrstufigen Ansatzes überwunden werden. Gleichzeitig erzielt HandOS erstklassige Leistungen auf öffentlichen Benchmarks, z.B. einen Wert von 5,0 PA-MPJPE (FreiHand) und 64,6 % PCK@0,05 (HInt-Ego4D). Projektseite: idea-research.github.io/HandOSweb.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp