I2UV-HandNet: Bild-zu-UV-Vorhersage-Netzwerk für präzise und hochauflösende 3D-Hand-Mesh-Modellierung

Die Rekonstruktion einer hochpräzisen und hochfidelitätsgetreuen 3D-Hand aus einem Farbbild spielt eine zentrale Rolle bei der Nachbildung einer realistischen virtuellen Hand in Anwendungen der Mensch-Computer-Interaktion und virtuellen Realität. Die Ergebnisse bestehender Methoden leiden aufgrund verschiedener Handpose und starker Verdeckungen an geringer Genauigkeit und Fidelität. In dieser Studie stellen wir ein I2UV-HandNet-Modell zur präzisen Schätzung von Handpose und -form sowie zur 3D-Hand-Super-Resolution-Rekonstruktion vor. Konkret führen wir erstmals eine UV-basierte Darstellung der 3D-Handform ein. Um aus einem RGB-Bild ein 3D-Hand-Gitter zu rekonstruieren, entwerfen wir ein AffineNet, das auf der Grundlage einer Bild-zu-Bild-Übersetzung eine UV-Positions-Karte aus der Eingabe vorhersagt. Um eine höherfidele Form zu erzielen, nutzen wir ein zusätzliches SRNet, das die vom AffineNet ausgegebene Niedrigauflösungs-UV-Karte in eine Hochauflösungsvariante transformiert. Erstmals demonstrieren wir die Charakterisierungsfähigkeit der UV-basierten Handformdarstellung. Unsere Experimente zeigen, dass die vorgeschlagene Methode auf mehreren anspruchsvollen Benchmarks die derzeit beste Leistung erzielt.