UV-basierte 3D-Hand-Objekt-Rekonstruktion mit Greif-Optimierung

Wir schlagen einen neuen Rahmen für die 3D-Handform-Rekonstruktion und die Optimierung des Hand-Objekt-Griffs aus einer einzigen RGB-Bild auf. Die Darstellung der Kontaktregionen zwischen Hand und Objekt ist entscheidend für eine präzise Rekonstruktion. Im Gegensatz zu früheren Ansätzen, die die Kontaktregionen mit dünn verteilten Punkten approximieren, schlagen wir eine dichte Darstellung in Form einer UV-Koordinatenkarte vor. Darüber hinaus führen wir eine Optimierung zur Inference-Zeit ein, um den Griff feinabzustimmen und die Interaktion zwischen Hand und Objekt zu verbessern. Unser Pipeline steigert die Genauigkeit der Handform-Rekonstruktion und erzeugt eine lebendige Handtextur. Experimente auf Datensätzen wie Ho3D, FreiHAND und DexYCB zeigen, dass unsere vorgeschlagene Methode die derzeitigen State-of-the-Art-Methoden übertrifft.