AdaptPose: Cross-Datensatz-Anpassung für die 3D-Mensch-Pose-Schätzung durch lernfähige Bewegungsgenerierung

Dieses Papier behandelt das Problem der Quer-Datensatz-Generalisierung von Modellen zur 3D-Mensch-Pose-Schätzung. Die Überprüfung eines vorab trainierten 3D-Pose-Schätzers auf einem neuen Datensatz führt zu einem erheblichen Leistungsverlust. Vorherige Methoden haben dieses Problem hauptsächlich durch die Verbesserung der Vielfalt der Trainingsdaten angegangen. Wir argumentieren, dass Vielfalt allein nicht ausreicht und dass die Eigenschaften der Trainingsdaten an die des neuen Datensatzes angepasst werden müssen, wie zum Beispiel Kameraperspektive, Position, menschliche Bewegungen und Körpergröße. Zu diesem Zweck schlagen wir AdaptPose vor, ein end-to-end Framework, das synthetische 3D-Bewegungen von einer Quelldatenmenge generiert und diese verwendet, um einen 3D-Pose-Schätzer weiterzutrainieren (fine-tuning). AdaptPose folgt einem adversären Trainingsansatz. Aus einer Quell-3D-Pose generiert der Generator eine Folge von 3D-Posen sowie eine Kameraposition, die verwendet wird, um die generierten Posen in eine neue Perspektive zu projizieren. Ohne irgende 3D-Etiketten oder Kamerainformationen lernt AdaptPose erfolgreich, synthetische 3D-Posen aus dem Ziel-Datensatz zu erstellen, während es nur mit 2D-Posen trainiert wird. In Experimenten mit den Datensätzen Human3.6M, MPI-INF-3DHP, 3DPW und Ski-Pose übertrifft unsere Methode frühere Arbeiten bei Quer-Datensatz-Evaluierungen um 14 % und frühere semi-supervisierte Lernmethoden, die teilweise 3D-Annotierungen verwenden, um 16 %.