PoseTriplet: Selbstüberwachtes Ko-Evolvieren der 3D-Ganzkörperpose-Schätzung, Nachahmung und Halluzination

Bisherige selbstüberwachte Ansätze zur 3D-Menschenpose-Schätzung basieren weitgehend auf schwachen Supervisionsmechanismen wie Konsistenzverlust, was unvermeidlich zu suboptimalen Ergebnissen in realen Szenarien mit unbekannten, bisher nicht gesehenen Pose-Abbildungen führt. In diesem Artikel präsentieren wir einen neuartigen selbstüberwachten Ansatz, der es ermöglicht, explizit 2D-3D-Pose-Paare zur Erweiterung der Supervision zu generieren, durch einen selbstverbessernden dualen Schleifen-Lernrahmen. Dies wird erreicht durch die Einführung eines auf Verstärkungslernen basierenden Nachahmers, der gemeinsam mit einem Pose-Schätzer und einem Pose-Halluzinator trainiert wird; die drei Komponenten bilden während des Trainingsprozesses zwei sich ergänzende und verstärkende Schleifen. Konkret transformiert der Pose-Schätzer eine Eingabepose-Sequenz in 2D in eine geringe Detailgenauigkeit liegende 3D-Ausgabe, die anschließend vom Nachahmer verbessert wird, wobei physikalische Einschränkungen enforced werden. Die verfeinerten 3D-Posen werden dann dem Halluzinator zugeführt, um noch vielfältigere Daten zu generieren, die wiederum vom Nachahmer verstärkt werden und zur weiteren Ausbildung des Pose-Schätzers genutzt werden. Dieses Ko-Evolutionsschema ermöglicht es in der Praxis, einen Pose-Schätzer auf selbstgenerierten Bewegungsdaten zu trainieren, ohne auf gegebene 3D-Daten angewiesen zu sein. Umfangreiche Experimente an verschiedenen Benchmarks zeigen, dass unser Ansatz ermutigende Ergebnisse liefert, die die derzeitigen State-of-the-Art-Methoden deutlich übertreffen und in einigen Fällen sogar mit vollständig überwachten Methoden vergleichbar sind. Insbesondere erreicht unser Ansatz bei selbstüberwachten Kreuz-Datensatz-Evaluierungen auf MPI-INF-3DHP eine 3D-PCK von 89,1 %, was eine Verbesserung gegenüber den bisher besten selbstüberwachten Methoden um 8,6 % darstellt. Der Quellcode ist verfügbar unter: https://github.com/Garfield-kh/PoseTriplet