Command Palette
Search for a command to run...
HandOS: 3D-Handrekonstruktion in einer Stufe
HandOS: 3D-Handrekonstruktion in einer Stufe
Xingyu Chen Zhuheng Song Xiaoke Jiang Yaoqing Hu Junzhi Yu Lei Zhang
Zusammenfassung
Bestehende Ansätze zur Handrekonstruktion folgen überwiegend einem mehrstufigen Framework, das Detektion, Links-Rechts-Klassifikation und Pose-Schätzung umfasst. Dieses Paradigma führt zu redundanten Berechnungen und kumulativen Fehlern. In dieser Arbeit schlagen wir HandOS vor, ein End-to-End-Framework für die 3D-Handrekonstruktion. Unser zentrales Motiv besteht darin, einen gefrorenen Detektor als Grundlage zu nutzen und zusätzliche Module für die Schätzung von 2D- und 3D-Landmarken zu integrieren. Auf diese Weise integrieren wir die Fähigkeit zur Pose-Schätzung in das Detektionsframework, während wir gleichzeitig die Notwendigkeit der Verwendung der Links-Rechts-Kategorie als Voraussetzung beseitigen. Insbesondere schlagen wir einen interaktiven 2D-3D-Decodierer vor, bei dem die Semantik der 2D-Gelenke aus den Detektionshinweisen abgeleitet wird, während die 3D-Darstellung aus den Darstellungen der 2D-Gelenke erhoben wird. Des Weiteren wurde eine hierarchische Aufmerksamkeit entwickelt, um die gleichzeitige Modellierung von 2D-Gelenken, 3D-Eckenpunkten und Kameratranslation zu ermöglichen. Somit erreichen wir eine End-to-End-Integration von Handdetektion, 2D-Pose-Schätzung und 3D-Mesh-Rekonstruktion innerhalb eines einstufigen Frameworks, wodurch die oben genannten Nachteile des mehrstufigen Ansatzes überwunden werden. Gleichzeitig erzielt HandOS erstklassige Leistungen auf öffentlichen Benchmarks, z.B. einen Wert von 5,0 PA-MPJPE (FreiHand) und 64,6 % PCK@0,05 (HInt-Ego4D). Projektseite: idea-research.github.io/HandOSweb.