Affordance de Pose Géométrique : Pose Humaine 3D avec Contraintes de Scène

L'estimation complète en 3D de la posture humaine à partir d'une seule image reste une tâche difficile malgré de nombreux progrès récents. Dans cet article, nous explorons l'hypothèse selon laquelle des informations a priori robustes sur la géométrie de la scène peuvent être utilisées pour améliorer la précision de l'estimation de la posture. Pour aborder cette question de manière empirique, nous avons constitué un nouveau jeu de données baptisé Affordance Géométrique Posturale (Geometric Pose Affordance), composé d'images multivues de personnes interagissant avec divers environnements 3D riches. Nous avons utilisé un système commercial de captation de mouvements pour recueillir des estimations standards d'or de la posture et construire des modèles 3D CAD géométriquement précis de la scène elle-même.Pour intégrer les connaissances a priori des contraintes de scène dans les cadres existants d'estimation de posture à partir d'images, nous introduisons une nouvelle représentation basée sur les vues de la géométrie de la scène : une carte profondeur multicouche (multi-layer depth map), qui utilise le traçage de rayons multi-impact pour encoder concisément plusieurs points d'entrée et de sortie sur chaque direction du rayon vue par la caméra. Nous proposons deux mécanismes différents pour intégrer l'information profondeur multicouche dans l'estimation de posture : premièrement, comme caractéristiques codées des rayons utilisées pour élever une posture 2D à une posture complète en 3D, et deuxièmement, comme perte différentiable qui incite les modèles appris à privilégier des estimations posturales cohérentes géométriquement. Nous montrons expérimentalement que ces techniques peuvent améliorer la précision des estimations posturales en 3D, en particulier en présence d'occlusions et dans des scènes aux géométries complexes.