Estimation de la posture humaine 3D auto-supervisée par synthèse d'images novatrices guidées par les parties

La capture de la posture humaine par caméra est le résultat de plusieurs sources de variation. Les performances des approches d'estimation supervisée de la posture 3D s'accompagnent du coût de l'élimination des variations, telles que la forme et l'apparence, qui pourraient être utiles pour résoudre d'autres tâches connexes. Par conséquent, le modèle appris non seulement inculque un biais de tâche, mais aussi un biais de jeu de données en raison de sa forte dépendance aux échantillons annotés, ce qui est également vrai pour les modèles faiblement supervisés. Reconnaissant cela, nous proposons un cadre d'apprentissage auto-supervisé pour dissocier ces variations à partir des images vidéo non étiquetées. Nous exploitons les connaissances a priori sur le squelette humain et les postures sous forme d'un modèle 2D unique basé sur les parties du corps, des contraintes d'articulation de la posture humaine et d'un ensemble de postures 3D non appariées. Notre formalisation différentiable, qui réduit l'écart représentationnel entre la posture 3D et les cartes spatiales des parties du corps, facilite non seulement la découverte d'une dissociation interprétable de la posture, mais nous permet également de traiter des vidéos avec divers mouvements caméra. Les résultats qualitatifs sur des jeux de données inédits et naturels établissent notre supériorité en termes de généralisation à travers plusieurs tâches au-delà des tâches principales d'estimation de la posture 3D et de segmentation des parties du corps. De plus, nous démontrons une performance d'estimation faiblement supervisée de la posture 3D à l'état de l'art sur les jeux de données Human3.6M et MPI-INF-3DHP.