gSDF: Geometriegetriebene signierte Distanzfunktionen für die 3D-Rekonstruktion von Hand-Objekten

Signed Distance Functions (SDFs) bieten ein attraktives Framework, das kürzlich vielversprechende Ergebnisse bei der 3D-Formrekonstruktion aus Bildern gezeigt hat. SDFs verallgemeinern nahtlos auf verschiedene Formauflösungen und Topologien, fehlen jedoch in der expliziten Modellierung der zugrunde liegenden 3D-Geometrie. In dieser Arbeit nutzen wir die Handstruktur als Leitlinie für die SDF-basierte Formrekonstruktion. Insbesondere befassen wir uns mit der Rekonstruktion von Händen und manipulierten Objekten aus monokularen RGB-Bildern. Dazu schätzen wir die Pose von Händen und Objekten und verwenden diese zur Steuerung der 3D-Rekonstruktion. Genauer gesagt prognostizieren wir kinematische Ketten von Posetransformationen und passen SDFs an hoch-artikulierte Handpose an. Wir verbessern die visuellen Merkmale von 3D-Punkten durch geometrische Ausrichtung und nutzen zudem zeitliche Informationen, um die Robustheit gegenüber Verdeckungen und Bewegungsunschärfe zu erhöhen. Wir führen umfangreiche Experimente auf den anspruchsvollen Benchmarks ObMan und DexYCB durch und zeigen erhebliche Verbesserungen der vorgeschlagenen Methode im Vergleich zum Stand der Technik.