Schwach überwachtes Lernen von 3D-Mensch-Posen durch Multiview-Bilder aus der Wildbahn

Eine der größten Herausforderungen bei der monokularen 3D-Pose-Schätzung in freier Wildbahn ist die Erhebung von Trainingsdaten, die unbeschränkte Bilder mit genauen 3D-Posen enthalten. In dieser Arbeit adressieren wir diese Herausforderung durch einen schwach überwachten Ansatz, der keine 3D-Annotierungen erfordert und aus nicht annotierten Multiview-Daten lernt, die leicht in freien Umgebungen erhoben werden können. Wir schlagen ein neues end-to-end Lernframework vor, das schwach überwachtes Training unter Verwendung von Multiview-Konsistenz ermöglicht. Da Multiview-Konsistenz degenerierte Lösungen begünstigen kann, verwenden wir eine 2,5D-Pose-Darstellung und schlagen eine neue Zielfunktion vor, die nur dann minimiert werden kann, wenn die Vorhersagen des trainierten Modells konsistent und plausibel sind in allen Kameraperspektiven. Wir evaluieren unseren vorgeschlagenen Ansatz anhand zweier großer Datensätze (Human3.6M und MPII-INF-3DHP), wo er unter den semi-/schwach überwachten Methoden Spitzenleistungen erzielt.