AlignSDF: Pose-genaue signierte Distanzfelder für die Rekonstruktion von Hand-Objekt-Interaktionen

Kürzliche Arbeiten haben beachtliche Fortschritte bei der gemeinsamen Rekonstruktion von Händen und manipulierten Objekten aus monokularen Farbbildern erzielt. Bestehende Methoden konzentrieren sich auf zwei alternative Darstellungen, entweder parametrische Netze oder signierte Distanzfelder (SDFs). Einerseits können parametrische Modelle von vorherigem Wissen profitieren, was jedoch auf Kosten begrenzter Formverformungen und Netzauflösungen geht. Netzmodelle scheitern daher möglicherweise daran, Details wie die Kontaktflächen von Händen und Objekten präzise zu rekonstruieren. Andererseits können SDF-basierte Methoden beliebige Details darstellen, aber sie verfügen über keine expliziten Vorwissen. In dieser Arbeit streben wir an, SDF-Modelle durch Vorwissen, das von parametrischen Darstellungen bereitgestellt wird, zu verbessern. Insbesondere schlagen wir ein gemeinsames Lernframework vor, das Pose und Form trennt. Wir erhalten die Posen von Händen und Objekten aus parametrischen Modellen und verwenden diese, um SDFs im dreidimensionalen Raum auszurichten. Wir zeigen, dass solche ausgerichteten SDFs sich besser auf die Rekonstruktion von Formdetails konzentrieren und sowohl für Hände als auch für Objekte die Rekonstruktionsgenauigkeit verbessern. Wir evaluieren unsere Methode und demonstrieren erhebliche Verbesserungen gegenüber dem Stand der Technik anhand der anspruchsvollen Benchmarks ObMan und DexYCB.