HyperAIHyperAI

Command Palette

Search for a command to run...

PoseNet3D: Lernen von zeitlich konsistenten 3D-Gesten menschlicher Körper mittels Knowledge Distillation

Shashank Tripathi Siddhant Ranade Ambrish Tyagi Amit Agrawal

Zusammenfassung

Die Rekonstruktion dreidimensionaler menschlicher Körperhaltungen aus 2D-Gelenkpositionen stellt ein hochgradig unbeschränktes Problem dar. Wir stellen ein neuartiges neuronales Netzwerk-Frame­work, PoseNet3D, vor, das 2D-Gelenke als Eingabe verwendet und 3D-Skelette sowie Parameter des SMPL-Körpermodells ausgibt. Durch die Formulierung unseres Lernansatzes im Rahmen eines Student-Teacher-Modells vermeiden wir während des Trainings jegliche Verwendung von 3D-Daten – sei es gepaarte oder ungepaarte 3D-Daten, Bewegungsaufzeichnungssequenzen, Tiefenbilder oder Multiview-Bilder. Zunächst trainieren wir ein Teacher-Netzwerk, das 3D-Skelette ausgibt, ausschließlich anhand von 2D-Haltungen. Das Teacher-Netzwerk transferiert sein Wissen an ein Student-Netzwerk, das die 3D-Haltung im SMPL-Format vorhersagt. Schließlich werden sowohl das Teacher- als auch das Student-Netzwerk gemeinsam in einer end-to-end-Optimierung unter Verwendung von zeitlichen, selbstkonsistenten und adversarialen Verlustfunktionen feinabgestimmt, wodurch die Genauigkeit beider Netzwerke verbessert wird. Ergebnisse auf dem Human3.6M-Datensatz zur 3D-Haltungsrekonstruktion zeigen, dass unsere Methode den Fehler bei der Vorhersage von 3D-Gelenken im Vergleich zu früheren unsupervisierten Ansätzen um 18 % reduziert. Qualitative Ergebnisse auf in-the-wild-Datensätzen belegen, dass die rekonstruierten 3D-Haltungen und Meshes natürlich, realistisch und reibungslos über aufeinanderfolgende Frames fließen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
PoseNet3D: Lernen von zeitlich konsistenten 3D-Gesten menschlicher Körper mittels Knowledge Distillation | Paper | HyperAI