MobRecon: Handgelenksrekonstruktion aus monoaularen Bildern für mobile Geräte

In dieser Arbeit schlagen wir ein Framework für die Rekonstruktion von Handgittern aus einer einzigen Sicht vor, das gleichzeitig hohe Rekonstruktionsgenauigkeit, schnelle Inferenzgeschwindigkeit und zeitliche Kohärenz erreichen kann. Insbesondere bei der 2D-Kodierung schlagen wir leichtgewichtige, aber effektive Stapelstrukturen vor. Was die 3D-Decodierung betrifft, stellen wir einen effizienten Graphenoperator bereit, nämlich die tiefengetrennte Spiral-Faltung (depth-separable spiral convolution). Darüber hinaus präsentieren wir ein neues Feature-Lifting-Modul zur Brückenschlagung zwischen 2D- und 3D-Darstellungen. Dieses Modul beginnt mit einem kartierungsorientierten Positionierungsregressionsblock (MapReg), um die Vorteile sowohl der Heatmap-Kodierung als auch des Positionierungsregressionsansatzes zu kombinieren, wodurch eine verbesserte 2D-Genauigkeit und zeitliche Kohärenz erzielt wird. Anschließend folgt MapReg durch Pose-Pooling und Pose-to-Vertex-Lifting-Methoden, die 2D-Posekodierungen in semantische Merkmale von 3D-Knotenpunkten transformieren. Insgesamt zeichnet sich unser Handrekonstruktionsframework, genannt MobRecon, durch geringe Rechenkosten und eine kleine Modellgröße aus, was eine hohe Inferenzgeschwindigkeit von 83 FPS auf dem Apple A14 CPU ermöglicht. Umfangreiche Experimente auf gängigen Datensätzen wie FreiHAND, RHD und HO3Dv2 zeigen, dass unser MobRecon überlegene Leistungen in Bezug auf Rekonstruktionsgenauigkeit und zeitliche Kohärenz erzielt. Unser Code ist öffentlich verfügbar unter https://github.com/SeanChenxy/HandMesh.