Estimation 3D de la posture multi-vue multi-personne avec stéréo par balayage de plan

Les approches existantes pour l’estimation 3D de poses multiples à plusieurs vues établissent explicitement des correspondances entre vues afin de regrouper les détections de poses 2D issues de plusieurs caméras et de résoudre l’estimation de la pose 3D pour chaque personne. L’établissement de ces correspondances entre vues s’avère particulièrement difficile dans les scènes à plusieurs personnes, et des correspondances incorrectes entraînent une performance sous-optimale dans les pipelines multi-étapes. Dans ce travail, nous proposons une approche d’estimation 3D de poses à plusieurs vues basée sur la stéréo par balayage de plans, permettant de traiter conjointement la fusion entre vues et la reconstruction de la pose 3D en une seule étape. Plus précisément, nous proposons de réaliser une régression de profondeur pour chaque articulation de chaque pose 2D dans une vue cible. Les contraintes de cohérence entre vues sont implicitement imposées par plusieurs vues de référence grâce à l’algorithme de balayage de plans, ce qui facilite une régression de profondeur précise. Nous adoptons une stratégie de grossier à fin, consistant d’abord à estimer la profondeur au niveau de la personne, puis à estimer la profondeur relative au niveau de chaque articulation par personne. Les poses 3D sont obtenues par une simple projection arrière à partir des profondeurs estimées. Nous évaluons notre méthode sur des jeux de données standard, où elle surpasser les états de l’art précédents tout en étant remarquablement efficace. Notre code est disponible à l’adresse suivante : https://github.com/jiahaoLjh/PlaneSweepPose.