xR-EgoPose : Posture 3D égocentrique à partir d'une caméra HMD

Nous présentons une nouvelle solution pour l'estimation de la posture corporelle 3D égocentrique à partir d'images monoculaires capturées par une caméra fisheye orientée vers le bas installée sur le bord d'un dispositif de réalité virtuelle porté sur la tête. Ce point de vue inhabituel, situé à seulement 2 cm du visage de l'utilisateur, génère des images avec une apparence visuelle unique, caractérisée par des auto-occultations sévères et des distorsions de perspective importantes, entraînant une différence drastique de résolution entre le bas et le haut du corps. Notre contribution est double. Premièrement, nous proposons une nouvelle architecture encodeur-décodeur avec un décodeur à double branche novateur spécifiquement conçu pour prendre en compte les incertitudes variables dans les positions des articulations 2D. Notre évaluation quantitative, tant sur des jeux de données synthétiques que réels, montre que notre stratégie conduit à des améliorations substantielles en termes de précision par rapport aux approches actuelles d'estimation de la posture égocentrique. Deuxièmement, nous contribuons avec un nouveau jeu de données synthétique photoréaliste à grande échelle - xR-EgoPose - offrant 383 000 images de haute qualité représentant des personnes avec une diversité de teints de peau, de formes corporelles et d'habillements, dans divers arrière-plans et conditions d'éclairage, effectuant une gamme d'actions. Nos expériences montrent que la grande variabilité dans notre nouveau corpus d'entraînement synthétique conduit à une bonne généralisation aux images réelles et à des résultats au niveau de l'état de l'art sur des jeux de données réels dotés d'une vérité terrain. De plus, une évaluation sur le benchmark Human3.6M montre que les performances de notre méthode sont comparables à celles des approches les mieux classées pour le problème plus classique de l'estimation de la posture humaine 3D depuis un point de vue tiers.