Estimation de la pose humaine 3D dans des conditions réelles par apprentissage adversarial

Récemment, des progrès remarquables ont été réalisés dans l'estimation de la posture humaine en 3D à partir d'images monoculaires grâce aux réseaux neuronaux convolutifs profonds (Deep Convolutional Neural Networks, DCNNs). Malgré leurs succès sur de grands ensembles de données collectés dans un environnement de laboratoire contrôlé, il est difficile d'obtenir des annotations de posture en 3D pour les images prises dans des conditions naturelles. Par conséquent, l'estimation de la posture humaine en 3D dans des conditions naturelles reste un défi. Dans cet article, nous proposons un cadre d'apprentissage par adversaire qui distille les structures de posture humaine apprises à partir d'un ensemble de données entièrement annoté vers des images naturelles ne disposant que d'annotations de posture en 2D. Au lieu de définir des règles codées à la main pour contraindre les résultats de l'estimation de la posture, nous concevons un nouveau discriminateur multi-sources pour distinguer les postures 3D prédites de la vérité terrain, ce qui aide à obliger l'estimateur de posture à générer des postures anthropométriquement valides même avec des images naturelles. Nous observons également qu'une source d'information soigneusement conçue pour le discriminateur est essentielle pour améliorer les performances. Ainsi, nous concevons un descripteur géométrique qui calcule les positions relatives et les distances paires entre les articulations du corps comme une nouvelle source d'information pour le discriminateur. L'efficacité de notre cadre d'apprentissage par adversaire avec le nouveau descripteur géométrique a été démontrée par des expériences approfondies sur des benchmarks publics largement utilisés. Notre approche améliore considérablement les performances par rapport aux méthodes précédentes considérées comme l'état de l'art.