Selbstüberwachte 3D-Pose-Schätzung von Menschen mit mehreren Ansichten und Geometrie

Wir präsentieren ein selbstüberwachtes Lernalgorithmus für die 3D-Pose-Schätzung einer einzelnen Person, basierend auf einem Mehrkamerasystem und 2D-Körperpose-Schätzungen für jede Kameraansicht. Um unser Modell, das durch ein tiefes neuronales Netzwerk repräsentiert wird, zu trainieren, schlagen wir einen Lernalgorithmus mit vier Verlustfunktionen vor, der keine 2D- oder 3D-Körperpose-Ground-Truth erfordert. Die vorgeschlagenen Verlustfunktionen nutzen die Mehrkamergeometrie, um 3D-Körperpose-Schätzungen zu rekonstruieren und Körperpose-Bedingungen über die Kameraansichten hinweg zu verhängen. Unser Ansatz nutzt während des Trainings alle verfügbaren Kameraansichten, während die Inferenz nur von einer einzelnen Ansicht ausgeht. In unseren Evaluierungen zeigen wir vielversprechende Ergebnisse auf den Benchmarks Human3.6M und HumanEva, wobei wir auch eine Generalisierungsstudie auf dem MPI-INF-3DHP-Datensatz sowie mehrere Abschleifungsergebnisse präsentieren. Insgesamt übertreffen wir alle selbstüberwachten Lernmethoden und erreichen vergleichbare Ergebnisse wie überwachte und schwach überwachte Lernansätze. Unser Code und unsere Modelle sind öffentlich verfügbar.