PoseAug: Ein differenzierbares Pose-Augmentationsframework für die 3D-Mensch-Pose-Schätzung

Bestehende 3D-Pose-Schätzer leiden unter einer schlechten Generalisierung auf neue Datensätze, was hauptsächlich auf die begrenzte Vielfalt von 2D-3D-Pose-Paaren in den Trainingsdaten zurückzuführen ist. Um dieses Problem zu lösen, stellen wir PoseAug vor, einen neuen Auto-Augmentierungsrahmen, der lernt, die verfügbaren Trainingsposes zu erweitern und so die Generalisierungsfähigkeit des trainierten 2D-zu-3D-Pose-Schätzers zu verbessern. Insbesondere führt PoseAug einen neuartigen Pose-Augmentierer ein, der durch differenzierbare Operationen lernt, verschiedene geometrische Faktoren (z.B. Haltung, Körpersize, Blickwinkel und Position) einer Pose anzupassen. Mit dieser differenzierbaren Kapazität kann der Augmentierer gemeinsam mit dem 3D-Pose-Schätzer optimiert werden und nimmt den Schätzfehler als Rückmeldung zur Erzeugung vielfältiger und schwieriger Poses in Echtzeit. Darüber hinaus führt PoseAug einen neuartigen part-bewussten Kinematischen Kettenraum (Part-aware Kinematic Chain Space) ein, um die Plausibilität lokaler Gelenkwinkel zu bewerten, und entwickelt entsprechend ein diskriminatives Modul, um die Plausibilität der augmentierten Poses sicherzustellen. Diese sorgfältig konzipierten Designs ermöglichen es PoseAug, vergleichsweise mehrere vielfältige aber plausible Poses als existierende Offline-Augmentationsmethoden zu generieren und somit eine bessere Generalisierung des Pose-Schätzers zu erzielen. PoseAug ist generisch und leicht anwendbar auf verschiedene 3D-Pose-Schätzer. Ausführliche Experimente zeigen, dass PoseAug klare Verbesserungen sowohl bei intra-szenarien- als auch bei cross-szenarien-Datensätzen bringt. Bemerkenswerterweise erreicht es eine 3D PCK von 88,6 % auf MPI-INF-3DHP bei einem cross-datenbasierten Evaluationsaufbau, was eine Verbesserung von 9,1 % gegenüber der bisher besten datenbasierten Augmentationsmethode darstellt. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/jfzhang95/PoseAug.