HyperAIHyperAI

Command Palette

Search for a command to run...

AlignSDF: Pose-genaue signierte Distanzfelder für die Rekonstruktion von Hand-Objekt-Interaktionen

Zerui Chen Yana Hasson Cordelia Schmid Ivan Laptev

Zusammenfassung

Kürzliche Arbeiten haben beachtliche Fortschritte bei der gemeinsamen Rekonstruktion von Händen und manipulierten Objekten aus monokularen Farbbildern erzielt. Bestehende Methoden konzentrieren sich auf zwei alternative Darstellungen, entweder parametrische Netze oder signierte Distanzfelder (SDFs). Einerseits können parametrische Modelle von vorherigem Wissen profitieren, was jedoch auf Kosten begrenzter Formverformungen und Netzauflösungen geht. Netzmodelle scheitern daher möglicherweise daran, Details wie die Kontaktflächen von Händen und Objekten präzise zu rekonstruieren. Andererseits können SDF-basierte Methoden beliebige Details darstellen, aber sie verfügen über keine expliziten Vorwissen. In dieser Arbeit streben wir an, SDF-Modelle durch Vorwissen, das von parametrischen Darstellungen bereitgestellt wird, zu verbessern. Insbesondere schlagen wir ein gemeinsames Lernframework vor, das Pose und Form trennt. Wir erhalten die Posen von Händen und Objekten aus parametrischen Modellen und verwenden diese, um SDFs im dreidimensionalen Raum auszurichten. Wir zeigen, dass solche ausgerichteten SDFs sich besser auf die Rekonstruktion von Formdetails konzentrieren und sowohl für Hände als auch für Objekte die Rekonstruktionsgenauigkeit verbessern. Wir evaluieren unsere Methode und demonstrieren erhebliche Verbesserungen gegenüber dem Stand der Technik anhand der anspruchsvollen Benchmarks ObMan und DexYCB.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp