ElePose: Unüberwachte 3D-Pose-Schätzung durch Vorhersage der Kamerahöhe und Lernen von Normalizing Flows auf 2D-Posen

Die Schätzung der menschlichen Pose aus einzelnen Bildern ist ein anspruchsvolles Problem, das in der Regel durch überwachtes Lernen gelöst wird. Leider existieren für viele menschliche Aktivitäten noch keine annotierten Trainingsdaten, da eine 3D-Annotation spezielle Bewegungserfassungssysteme erfordert. Daher schlagen wir einen unüberwachten Ansatz vor, der lernt, eine 3D-Pose aus einem einzelnen Bild zu schätzen, während er nur mit 2D-Pose-Daten trainiert wird, die von einer großen Anzahl von Menschen bereitgestellt werden können und bereits weit verbreitet sind. Zu diesem Zweck schätzen wir diejenige 3D-Pose, die bei zufälligen Projektionen am wahrscheinlichsten ist, wobei die Wahrscheinlichkeit unter Verwendung von Normalizing Flows auf 2D-Posen geschätzt wird. Während frühere Arbeiten starke Voraussetzungen über Kamerarotationen im Trainingsdatensatz erfordern, lernen wir die Verteilung der Kamerawinkel, was die Leistung erheblich verbessert. Ein weiterer Teil unserer Beitrag besteht darin, das Training mit Normalizing Flows auf hochdimensionalen 3D-Pose-Daten durch die Projektion der 2D-Posen in einen linearen Unterraum zu stabilisieren. Auf den Benchmark-Datensätzen Human3.6M und MPI-INF-3DHP übertreffen wir in vielen Metriken die besten bisher bekannten unüberwachten Methoden zur Schätzung der menschlichen Pose.