GLAMR : Récupération de Maillage Humain Mondiale avec Conscience des Occlusions et Caméras Dynamiques

Nous présentons une approche pour la récupération de maillages humains 3D globaux à partir de vidéos monoculaires enregistrées avec des caméras dynamiques. Notre méthode est robuste face aux occultations sévères et de longue durée, et permet le suivi des corps humains même lorsqu'ils sortent du champ de vision de la caméra. Pour y parvenir, nous proposons d'abord un générateur profond de mouvements, qui remplit automatiquement les mouvements corporels des personnes occultées en se basant sur les mouvements visibles. De plus, contrairement aux travaux précédents, notre approche reconstruit les maillages humains dans des coordonnées globales cohérentes, même avec des caméras dynamiques. Étant donné que la reconstruction conjointe des mouvements humains et des poses de caméra est sous-contrainte, nous proposons un prédicteur de trajectoire globale qui génère des trajectoires humaines globales à partir des mouvements locaux du corps. En utilisant ces trajectoires prédites comme points d'ancrage, nous présentons un cadre d'optimisation globale qui affine les trajectoires prédites et optimise les poses de caméra pour correspondre aux preuves vidéo telles que les points clés 2D. Les expériences menées sur des jeux de données difficiles en intérieur et en extérieur avec des caméras dynamiques montrent que l'approche proposée surpass significativement les méthodes antérieures en termes de remplissage de mouvement et de récupération de maillage global.