AdaptPose : Adaptation trans-bases de données pour l'estimation de la pose humaine 3D par génération de mouvement apprenable

Ce travail aborde le problème de la généralisation inter-bases de données des modèles d'estimation de pose humaine en 3D. Lorsqu'un estimateur de pose en 3D pré-entraîné est testé sur une nouvelle base de données, cela entraîne une baisse significative des performances. Les méthodes précédentes ont principalement cherché à résoudre ce problème en améliorant la diversité des données d'entraînement. Nous soutenons que la diversité seule n'est pas suffisante et que les caractéristiques des données d'entraînement doivent être adaptées à celles de la nouvelle base de données, telles que le point de vue de la caméra, la position, les actions humaines et la taille du corps. À cette fin, nous proposons AdaptPose, un cadre intégré qui génère des mouvements humains synthétiques en 3D à partir d'une base de données source et utilise ces mouvements pour affiner un estimateur de pose en 3D. AdaptPose suit un schéma d'entraînement antagoniste (adversarial). À partir d'une pose 3D source, le générateur produit une séquence de poses 3D et une orientation de caméra utilisée pour projeter les poses générées sous une nouvelle vue. Sans aucune étiquette 3D ou information sur la caméra, AdaptPose apprend avec succès à créer des poses synthétiques en 3D à partir de la base de données cible tout en étant uniquement entraîné sur des poses 2D. Dans des expériences menées sur les bases de données Human3.6M, MPI-INF-3DHP, 3DPW et Ski-Pose, notre méthode surpasses les travaux antérieurs dans les évaluations inter-bases de données avec une amélioration de 14 % et les méthodes d'apprentissage semi-supervisé utilisant des annotations partielles en 3D avec une amélioration de 16 %.