WiLoR: End-to-end 3D-Hand-Lokalisierung und -Rekonstruktion in freier Wildbahn

In den letzten Jahren haben 3D-Handhaltungsschätzverfahren aufgrund ihrer umfangreichen Anwendungen in der Mensch-Computer-Interaktion, Virtuellen Realität und Robotik erhebliche Aufmerksamkeit erhalten. Im Gegensatz dazu gab es eine bemerkenswerte Lücke in den Handdetektionspipelines, die erhebliche Herausforderungen bei der Erstellung effektiver Multi-Hand-Rekonstruktionsysteme für den realen Einsatz bereitet hat. In dieser Arbeit präsentieren wir einen datengetriebenen Prozess für effiziente Multi-Hand-Rekonstruktion im freien Feld. Der vorgeschlagene Prozess besteht aus zwei Komponenten: einer Echtzeit-Fully-Convolu­tional-Handlokalisation und einem hochgenauen transformer-basierten 3D-Handrekonstruktionsmodell. Um die Einschränkungen früherer Methoden zu überwinden und ein robustes und stabiles Detektionsnetzwerk zu bilden, führen wir einen groß angelegten Datensatz mit mehr als 2 Millionen im Freien aufgenommenen Handbildern ein, die unterschiedliche Beleuchtungs-, Helligkeits- und Verdeckungsbedingungen abdecken. Unser Ansatz übertrifft frühere Methoden sowohl in Effizienz als auch in Genauigkeit bei gängigen 2D- und 3D-Benchmarks. Schließlich demonstrieren wir die Effektivität unseres Pipelines zur Erreichung eines flüssigen 3D-Handtrackings aus monokularen Videos, ohne temporale Komponenten zu verwenden. Code, Modelle und Datensatz sind unter https://rolpotamias.github.io/WiLoR verfügbar.