HyperAIHyperAI

Command Palette

Search for a command to run...

Schwach beschriftete 3D-Handpose-Schätzung mittels biomechanischer Einschränkungen

Adrian Spurr Umar Iqbal Pavlo Molchanov Otmar Hilliges Jan Kautz

Zusammenfassung

Die Schätzung der 3D-Handpose aus 2D-Bildern stellt aufgrund inhärenter Skalen- und Tiefenambiguitäten ein schwieriges, inverses Problem dar. Aktuelle State-of-the-Art-Methoden trainieren vollständig überwachte tiefe neuronale Netze mit 3D-Referenzdaten. Die Erhebung solcher 3D-Anmerkungen ist jedoch kostspielig und erfordert typischerweise kalibrierte Mehransichtssysteme oder zeitaufwändige manuelle Annotationen. Während 2D-Keypoint-Anmerkungen viel einfacher zu erheben sind, bleibt die effiziente Nutzung solcher schwach überwachten Daten zur Verbesserung der 3D-Handpose-Schätzung eine wichtige offene Frage. Der zentrale Schwierigkeitsfaktor ergibt sich daraus, dass die direkte Anwendung zusätzlicher 2D-Überwachung vor allem der 2D-Proxy-Optimierungsziele dient, aber die Tiefen- und Skalenambiguitäten kaum reduziert. In Anbetracht dieser Herausforderung stellen wir eine Reihe neuartiger Verlustfunktionen vor. Durch umfangreiche Experimente zeigen wir, dass unsere vorgeschlagenen Constraints die Tiefenambiguität signifikant verringern und es dem Netzwerk ermöglichen, zusätzliche 2D-annotierte Bilder effektiver zu nutzen. So reduziert sich beispielsweise auf dem anspruchsvollen freiHAND-Datensatz die Tiefenfehler durch zusätzliche 2D-Anmerkungen ohne unsere biomechanischen Constraints lediglich um 15 %, während die Fehlerreduktion bei Verwendung unserer vorgeschlagenen biomechanischen Constraints auf 50 % ansteigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp