Estimation de posture multi-personnes sensible à la forme à partir d’images multi-vues

Dans cet article, nous proposons une approche simple mais efficace pour estimer les poses 3D de plusieurs personnes à partir d’images multi-vues. Notre pipeline de coarse-to-fine commence par agréger les observations 2D bruitées provenant de plusieurs vues caméra dans l’espace 3D, puis les associe à des instances individuelles à l’aide d’une technique de vote majoritaire prenant en compte la confiance. Les estimations finales de pose sont obtenues grâce à un nouveau schéma d’optimisation qui relie les observations 2D multi-vues à haute confiance aux candidats de joints 3D. En outre, un modèle corporel paramétrique statistique, tel que SMPL, est utilisé comme prior régularisant pour ces candidats de joints 3D. Plus précisément, les poses 3D et les paramètres de SMPL sont optimisés de manière conjointe et itérative. Dans ce cadre, les modèles paramétriques aident à corriger les estimations de pose 3D peu crédibles et à combler les joints manquants, tandis que les poses 3D actualisées permettent d’obtenir des estimations de SMPL améliorées. En reliant les observations 2D et 3D, notre méthode est à la fois précise et généralisable à différents types de données, car elle découple mieux la pose 3D finale de la configuration spatiale relative entre les personnes et est plus robuste aux détections 2D bruitées. Nous évaluons systématiquement notre méthode sur des jeux de données publics et obtenons des performances de pointe. Le code source et des vidéos seront disponibles sur la page du projet : https://ait.ethz.ch/projects/2021/multi-human-pose/.