PoseAug : Un cadre de génération de poses différentiable pour l'estimation des poses humaines en 3D

Les estimateurs de pose humaine 3D existants souffrent d'une mauvaise performance de généralisation sur de nouveaux ensembles de données, principalement en raison de la diversité limitée des paires de poses 2D-3D dans les données d'entraînement. Pour remédier à ce problème, nous présentons PoseAug, un nouveau cadre d'auto-augmentation qui apprend à augmenter les poses disponibles dans l'ensemble d'entraînement afin d'accroître leur diversité et ainsi améliorer la généralisation de l'estimateur de pose 2D vers 3D. Plus précisément, PoseAug introduit un nouvel augmenteur de pose qui apprend à ajuster divers facteurs géométriques (par exemple, posture, taille du corps, point de vue et position) d'une pose par le biais d'opérations différentiables. Grâce à cette capacité différentiable, l'augmenteur peut être optimisé conjointement avec l'estimateur de pose 3D et utiliser l'erreur d'estimation comme retour pour générer des poses plus diverses et difficiles en ligne. De plus, PoseAug introduit un espace chaîne cinématique sensible aux parties pour évaluer la plausibilité locale des angles articulaires et développe un module discriminatif en conséquence pour garantir la plausibilité des poses augmentées. Ces conceptions élaborées permettent à PoseAug de générer des poses plus diverses mais plausibles que les méthodes d'augmentation hors ligne existantes, ce qui entraîne une meilleure généralisation de l'estimateur de pose. PoseAug est générique et facile à appliquer à différents estimateurs de pose 3D. Des expériences approfondies montrent que PoseAug apporte des améliorations nettes tant sur les ensembles de données intra-scénario que sur ceux inter-scénarios. Notamment, il atteint un taux de précision 3D PCK (Percentage of Correct Keypoints) de 88,6% sur MPI-INF-3DHP dans une configuration d'évaluation inter-ensembles de données, améliorant ainsi la méthode précédente basée sur l'augmentation des données par 9,1%. Le code source est disponible à l'adresse suivante : https://github.com/jfzhang95/PoseAug.