Monokulare 3D-Pose-Schätzung von Menschen durch Generierung und ordinale Rangfolge

Die monokulare 3D-Pose-Schätzung von statischen Bildern ist ein anspruchsvolles Problem, aufgrund der Fluch der Dimensionalität und der inkonsistenten Natur des Aufhebens von 2D-zu-3D. In dieser Arbeit schlagen wir ein Modell basierend auf einem tiefen bedingten variationellen Autoencoder (Deep Conditional Variational Autoencoder) vor, das verschiedene anatomisch plausiblen 3D-Pose-Beispiele unter Berücksichtigung der geschätzten 2D-Pose synthetisiert. Wir zeigen, dass die CVAE-basierte Menge von 3D-Pose-Beispielen konsistent mit der 2D-Pose ist und bei der Bewältigung der inhärenten Ambiguität beim Aufheben von 2D-zu-3D hilft. Wir schlagen zwei Strategien zur Gewinnung der endgültigen 3D-Pose vor: (a) Tiefenordnungs-/Ordnungsbeziehungen, um die Kandidaten-3D-Posen zu bewerten und gewichtete Durchschnittswerte zu berechnen, was als OrdinalScore bezeichnet wird, und (b) unter Aufsicht eines Orakels. Wir berichten nahezu standesgemäße Ergebnisse auf zwei Benchmark-Datensätzen unter Verwendung des OrdinalScore und standesgemäße Ergebnisse unter Verwendung des Orakels. Zudem zeigen wir, dass unser Pipeline wettbewerbsfähige Ergebnisse liefert, ohne gepaarte Bild-zu-3D-Annotierungen zu benötigen. Der Trainings- und Evaluationscode ist unter https://github.com/ssfootball04/generative_pose verfügbar.