Synthetische Trainingsmethoden für genaue 3D-Pose- und Formschätzung von Menschen im Freien

Dieses Papier behandelt das Problem der monokularen 3D-Schätzung von menschlicher Gestalt und Haltung aus einem RGB-Bild. Trotz großer Fortschritte in diesem Bereich hinsichtlich der Genauigkeit der Haltungsprädiktion sind die besten Methoden oft ungenau in der Vorhersage von Körperformen. Wir schlagen vor, dass dies hauptsächlich auf den Mangel an natürlichen Trainingsdaten mit vielfältigen und genauen Körperformlabels zurückzuführen ist. Daher schlagen wir STRAPS (Synthetische Trainingsdaten für eine realistisch genaue Haltung und Form) vor, ein System, das Proxy-Darstellungen wie Silhouetten und 2D-Gelenke als Eingaben für ein regressive neuronales Netzwerk zur Schätzung von Form und Haltung verwendet. Dieses Netzwerk wird mit synthetischen Trainingsdaten trainiert, die während des Trainings dynamisch generiert werden (mithilfe des statistischen Körperm odells SMPL), um den Datenmangel zu überwinden. Um die Lücke zwischen synthetischen Trainingseingaben und verrauschten realen Eingaben zu schließen, die durch Keypoint-Erkennung und Segmentierung-CNNs bei Testzeit vorhergesagt werden, verwenden wir Datenaugmentierung und -verfälschung während des Trainings. Um unseren Ansatz zu evaluieren, haben wir einen anspruchsvollen Evaluationsdatensatz für die monokulare Schätzung menschlicher Gestalt erstellt: Sports Shape and Pose 3D (SSP-3D). Er besteht aus RGB-Bildern eng bekleideter Sportler mit einer Vielzahl von Körperformen sowie entsprechenden Pseudo-Ground-Truth-Werten für SMPL-Körperform- und -Haltungsparameter, die durch Mehrfachbildoptimierung erhalten wurden. Wir zeigen, dass STRAPS auf SSP-3D in Bezug auf die Genauigkeit der Formvorhersage anderen Stand-der-Technik-Methoden überlegen ist, während es gleichzeitig im Wettbewerb mit den besten Methoden auf haltungsorientierten Datensätzen und Metriken bleibt.请注意，我已将 "Sports Shape and Pose 3D" 翻译为 "Sports Shape and Pose 3D (SSP-3D)"，以保留其原始缩写。此外，“SMPL” 是一个广泛使用的术语，因此在文中直接使用了该缩写。