HyperAIHyperAI

Command Palette

Search for a command to run...

WiLoR: End-to-end 3D Hand Localization und Reconstruction in-the-wild

Potamias Rolandos Alexandros Zhang Jinglei Deng Jiankang Zafeiriou Stefanos

Zusammenfassung

In den letzten Jahren haben 3D-Handpose-Schätzungsmethoden aufgrund ihrer vielfältigen Anwendungen in der Mensch-Computer-Interaktion, Virtual Reality und Robotik erhebliche Aufmerksamkeit erlangt. Im Gegensatz dazu besteht eine bemerkenswerte Lücke in Hand-Detektions-Pipelines, was erhebliche Herausforderungen bei der Konstruktion effektiver Echtzeit-Systeme zur Mehrhand-Rekonstruktion in natürlichen Umgebungen darstellt. In dieser Arbeit präsentieren wir eine datengetriebene Pipeline für eine effiziente Mehrhand-Rekonstruktion in natürlichen Szenen (in-the-wild). Die vorgeschlagene Pipeline besteht aus zwei Komponenten: einem Echtzeit-fully convolutional Hand-Lokalisationsmodell und einem hochfidelitätsorientierten, transformerbasierten 3D-Hand-Rekonstruktionsmodell. Um die Grenzen früherer Ansätze zu überwinden und ein robustes und stabiles Detektionsnetzwerk zu entwickeln, führen wir eine großskalige Datensammlung mit über 2 Millionen in-the-wild Handbildern unter diversen Licht-, Beleuchtungs- und Verdeckungsbedingungen ein. Unser Ansatz erreicht sowohl in Bezug auf Effizienz als auch Genauigkeit bessere Ergebnisse als vorherige Methoden auf gängigen 2D- und 3D-Benchmarks. Schließlich demonstrieren wir die Wirksamkeit unserer Pipeline, indem wir eine reibungslose 3D-Handverfolgung aus monokularen Videos ohne Verwendung jeglicher zeitlicher Komponenten realisieren. Der Quellcode, die Modelle und die Datensammlung sind verfügbar unter: https://rolpotamias.github.io/WiLoR.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp