HyperAIHyperAI

Command Palette

Search for a command to run...

VNect: Echtzeit 3D-Pose-Schätzung von Menschen mit einer einzelnen RGB-Kamera

DUSHYANT MEHTA SRINATH SRIDHAR OLEKSANDR SOTNYCHENKO HELGE RHODIN MOHAMMAD SHAFIEI HANS-PETER SEIDEL WEIPENG XU DAN CASAS CHRISTIAN THEOBALT

Zusammenfassung

Wir präsentieren die erste Echtzeit-Methode zur Erfassung der vollständigen globalen 3D-Gestalt eines Menschen mit einer stabilen, zeitlich konsistenten Pose unter Verwendung einer einzelnen RGB-Kamera. Unser Ansatz kombiniert einen neuen, auf konvolutionellen neuronalen Netzen (CNN) basierenden Poseregressor mit einem kinematischen Skelettanpassungsverfahren. Unsere neuartige, vollkonvolutorische Poseformulierung regresst 2D- und 3D-Gelenkpositionen simultan in Echtzeit und erfordert keine eng zugeschnittenen Eingabebilder. Eine Echtzeit-Methode zur kinematischen Skelettanpassung nutzt die Ausgabe des CNNs, um zeitlich stabile 3D-Globale-Pose-Rekonstruktionen auf Basis eines kohärenten kinematischen Skeletts zu erzeugen. Dies macht unseren Ansatz zur ersten monokularen RGB-Methode, die in Echtzeitanwendungen wie der Steuerung von 3D-Charakteren eingesetzt werden kann – bisher wurden für solche Anwendungen ausschließlich spezialisierte RGB-D-Kameras verwendet. Die Genauigkeit unserer Methode ist quantitativ vergleichbar mit den besten Offline-Methoden zur monokular-RGB-basierten 3D-Pose-Schätzung. Unsere Ergebnisse sind qualitativ vergleichbar mit und manchmal sogar besser als Ergebnisse aus monokularen RGB-D-Ansätzen wie dem Kinect. Wir zeigen jedoch, dass unser Ansatz breiter anwendbar ist als Lösungen mit RGB-D-Kameras, d.h., er funktioniert auch für Außenszenen, Community-Videos und günstige RGB-Kameras von minderer Qualität.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp