PoseTriplet : Estimation co-évolutive de la posture 3D humaine, de l’imitation et de l’hallucination sous apprentissage auto-supervisé

Les méthodes existantes d'estimation de posture 3D auto-supervisée s'appuient largement sur des signaux de supervision faibles, tels que la perte de cohérence, pour guider l'apprentissage. Cette approche conduit inévitablement à des performances inférieures dans des scénarios réels comportant des postures inédites. Dans cet article, nous proposons une nouvelle méthode auto-supervisée permettant de générer explicitement des paires 2D-3D pour enrichir la supervision, grâce à un cadre d'apprentissage dual à boucles auto-renforçantes. Cette possibilité est rendue possible par l'introduction d'un imitateur basé sur l'apprentissage par renforcement, appris conjointement avec un estimateur de posture et un hallucinateur de posture ; les trois composants forment deux boucles pendant le processus d'entraînement, se complétant et renforçant mutuellement. Plus précisément, l'estimateur de posture transforme une séquence d'entrée de postures 2D en une sortie 3D de faible fidélité, qui est ensuite améliorée par l'imitateur, imposant ainsi des contraintes physiques. Les postures 3D ainsi raffinées sont ensuite transmises à l'hallucinateur afin de produire des données encore plus diversifiées, qui sont à leur tour renforcées par l'imitateur et utilisées pour entraîner davantage l'estimateur de posture. Ce schéma de co-évolution permet, en pratique, d'entraîner un estimateur de posture sur des données de mouvement générées automatiquement, sans dépendre de toute donnée 3D fournie. Des expériences étendues sur divers benchmarks démontrent que notre approche obtient des résultats prometteurs, dépassant significativement l'état de l'art, et, dans certains cas, atteignant des performances comparables à celles des méthodes entièrement supervisées. Notamment, elle atteint un taux de 89,1 % de PCK 3D sur MPI-INF-3DHP dans un cadre d'évaluation auto-supervisée croisant les jeux de données, surpassant ainsi les meilleures méthodes auto-supervisées précédentes de 8,6 %. Le code est disponible à l'adresse suivante : https://github.com/Garfield-kh/PoseTriplet