SMAP : Estimation de la posture 3D absolue multi-personne en une seule prise

La récupération de poses 3D multi-personnes avec des échelles absolues à partir d'une seule image RGB est un problème difficile en raison de l'ambiguïté inhérente à la profondeur et à l'échelle provenant d'une seule vue. Pour résoudre cette ambiguïté, il est nécessaire d'agréger divers indices sur l'ensemble de l'image, tels que les tailles corporelles, les dispositions de la scène et les relations interpersonnelles. Cependant, la plupart des méthodes précédentes adoptent un schéma descendante (top-down) qui effectue d'abord une détection de pose 2D, puis régresse la pose 3D et l'échelle pour chaque personne détectée individuellement, ignorant ainsi les indices contextuels globaux. Dans cet article, nous proposons un système novateur qui régresse d'abord un ensemble de représentations 2.5D des parties du corps, puis reconstruit les poses 3D absolues en se basant sur ces représentations 2.5D grâce à un algorithme d'association de parties prenant en compte la profondeur. Un tel schéma ascendant (bottom-up) en une seule étape permet au système d'apprendre et de raisonnement plus efficacement sur les relations de profondeur interpersonnelles, améliorant ainsi à la fois l'estimation des poses 3D et 2D. Les expériences montrent que notre approche atteint des performances de pointe sur les jeux de données CMU Panoptic et MuPoTS-3D et peut être appliquée aux vidéos en conditions réelles.