Estimation de la posture 3D égocentrique d'un humain dans des conditions réelles avec une supervision faible externe

L'estimation de la posture humaine égocentrique en 3D à partir d'une seule caméra fisheye a récemment attiré une attention considérable. Cependant, les méthodes existantes peinent à estimer la posture à partir d'images naturelles, car elles ne peuvent être formées que sur des données synthétiques en raison du manque de grands ensembles de données égocentriques naturelles. De plus, ces méthodes échouent facilement lorsque les parties du corps sont masquées ou interagissent avec l'environnement. Pour remédier au manque de données naturelles, nous avons collecté un grand ensemble de données égocentriques naturelles appelé Egocentric Poses in the Wild (EgoPW). Ce dataset est capturé par une caméra fisheye montée sur la tête et une caméra externe auxiliaire, qui fournit une observation supplémentaire du corps humain sous un angle tiers lors de l'entraînement. Nous présentons une nouvelle méthode d'estimation de la posture égocentrique, qui peut être formée sur le nouveau dataset avec une supervision externe faible. Plus précisément, nous générons tout d'abord des étiquettes pseudo pour le dataset EgoPW à l'aide d'une méthode d'optimisation spatio-temporelle en intégrant la supervision de vue externe. Ces étiquettes pseudo sont ensuite utilisées pour former un réseau d'estimation de la posture égocentrique. Pour faciliter l'entraînement du réseau, nous proposons une nouvelle stratégie d'apprentissage visant à superviser les caractéristiques égocentriques avec les caractéristiques de haute qualité extraites par un modèle préformé d'estimation de la posture en vue externe. Les expériences montrent que notre méthode prédit des postures 3D précises à partir d'une seule image égocentrique naturelle et surpassent les méthodes les plus avancées actuellement disponibles tant quantitativement que qualitativement.