Command Palette
Search for a command to run...
WiLoR: End-to-end 3D Hand Localization und Reconstruction in-the-wild
WiLoR: End-to-end 3D Hand Localization und Reconstruction in-the-wild
Potamias Rolandos Alexandros Zhang Jinglei Deng Jiankang Zafeiriou Stefanos
Zusammenfassung
In den letzten Jahren haben 3D-Handpose-Schätzungsmethoden aufgrund ihrer vielfältigen Anwendungen in der Mensch-Computer-Interaktion, Virtual Reality und Robotik erhebliche Aufmerksamkeit erlangt. Im Gegensatz dazu besteht eine bemerkenswerte Lücke in Hand-Detektions-Pipelines, was erhebliche Herausforderungen bei der Konstruktion effektiver Echtzeit-Systeme zur Mehrhand-Rekonstruktion in natürlichen Umgebungen darstellt. In dieser Arbeit präsentieren wir eine datengetriebene Pipeline für eine effiziente Mehrhand-Rekonstruktion in natürlichen Szenen (in-the-wild). Die vorgeschlagene Pipeline besteht aus zwei Komponenten: einem Echtzeit-fully convolutional Hand-Lokalisationsmodell und einem hochfidelitätsorientierten, transformerbasierten 3D-Hand-Rekonstruktionsmodell. Um die Grenzen früherer Ansätze zu überwinden und ein robustes und stabiles Detektionsnetzwerk zu entwickeln, führen wir eine großskalige Datensammlung mit über 2 Millionen in-the-wild Handbildern unter diversen Licht-, Beleuchtungs- und Verdeckungsbedingungen ein. Unser Ansatz erreicht sowohl in Bezug auf Effizienz als auch Genauigkeit bessere Ergebnisse als vorherige Methoden auf gängigen 2D- und 3D-Benchmarks. Schließlich demonstrieren wir die Wirksamkeit unserer Pipeline, indem wir eine reibungslose 3D-Handverfolgung aus monokularen Videos ohne Verwendung jeglicher zeitlicher Komponenten realisieren. Der Quellcode, die Modelle und die Datensammlung sind verfügbar unter: https://rolpotamias.github.io/WiLoR.