HyperAIHyperAI

Command Palette

Search for a command to run...

Synthetische Trainingsmethoden für genaue 3D-Pose- und Formschätzung von Menschen im Freien

Akash Sengupta Ignas Budvytis Roberto Cipolla

Zusammenfassung

Dieses Papier behandelt das Problem der monokularen 3D-Schätzung von menschlicher Gestalt und Haltung aus einem RGB-Bild. Trotz großer Fortschritte in diesem Bereich hinsichtlich der Genauigkeit der Haltungsprädiktion sind die besten Methoden oft ungenau in der Vorhersage von Körperformen. Wir schlagen vor, dass dies hauptsächlich auf den Mangel an natürlichen Trainingsdaten mit vielfältigen und genauen Körperformlabels zurückzuführen ist. Daher schlagen wir STRAPS (Synthetische Trainingsdaten für eine realistisch genaue Haltung und Form) vor, ein System, das Proxy-Darstellungen wie Silhouetten und 2D-Gelenke als Eingaben für ein regressive neuronales Netzwerk zur Schätzung von Form und Haltung verwendet. Dieses Netzwerk wird mit synthetischen Trainingsdaten trainiert, die während des Trainings dynamisch generiert werden (mithilfe des statistischen Körperm odells SMPL), um den Datenmangel zu überwinden. Um die Lücke zwischen synthetischen Trainingseingaben und verrauschten realen Eingaben zu schließen, die durch Keypoint-Erkennung und Segmentierung-CNNs bei Testzeit vorhergesagt werden, verwenden wir Datenaugmentierung und -verfälschung während des Trainings. Um unseren Ansatz zu evaluieren, haben wir einen anspruchsvollen Evaluationsdatensatz für die monokulare Schätzung menschlicher Gestalt erstellt: Sports Shape and Pose 3D (SSP-3D). Er besteht aus RGB-Bildern eng bekleideter Sportler mit einer Vielzahl von Körperformen sowie entsprechenden Pseudo-Ground-Truth-Werten für SMPL-Körperform- und -Haltungsparameter, die durch Mehrfachbildoptimierung erhalten wurden. Wir zeigen, dass STRAPS auf SSP-3D in Bezug auf die Genauigkeit der Formvorhersage anderen Stand-der-Technik-Methoden überlegen ist, während es gleichzeitig im Wettbewerb mit den besten Methoden auf haltungsorientierten Datensätzen und Metriken bleibt.请注意,我已将 "Sports Shape and Pose 3D" 翻译为 "Sports Shape and Pose 3D (SSP-3D)",以保留其原始缩写。此外,“SMPL” 是一个广泛使用的术语,因此在文中直接使用了该缩写。


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp