Schwach beschriftete 3D-Handpose-Schätzung mittels biomechanischer Einschränkungen

Die Schätzung der 3D-Handpose aus 2D-Bildern stellt aufgrund inhärenter Skalen- und Tiefenambiguitäten ein schwieriges, inverses Problem dar. Aktuelle State-of-the-Art-Methoden trainieren vollständig überwachte tiefe neuronale Netze mit 3D-Referenzdaten. Die Erhebung solcher 3D-Anmerkungen ist jedoch kostspielig und erfordert typischerweise kalibrierte Mehransichtssysteme oder zeitaufwändige manuelle Annotationen. Während 2D-Keypoint-Anmerkungen viel einfacher zu erheben sind, bleibt die effiziente Nutzung solcher schwach überwachten Daten zur Verbesserung der 3D-Handpose-Schätzung eine wichtige offene Frage. Der zentrale Schwierigkeitsfaktor ergibt sich daraus, dass die direkte Anwendung zusätzlicher 2D-Überwachung vor allem der 2D-Proxy-Optimierungsziele dient, aber die Tiefen- und Skalenambiguitäten kaum reduziert. In Anbetracht dieser Herausforderung stellen wir eine Reihe neuartiger Verlustfunktionen vor. Durch umfangreiche Experimente zeigen wir, dass unsere vorgeschlagenen Constraints die Tiefenambiguität signifikant verringern und es dem Netzwerk ermöglichen, zusätzliche 2D-annotierte Bilder effektiver zu nutzen. So reduziert sich beispielsweise auf dem anspruchsvollen freiHAND-Datensatz die Tiefenfehler durch zusätzliche 2D-Anmerkungen ohne unsere biomechanischen Constraints lediglich um 15 %, während die Fehlerreduktion bei Verwendung unserer vorgeschlagenen biomechanischen Constraints auf 50 % ansteigt.