Command Palette
Search for a command to run...
Estimation 3D à un seul coup de la posture de plusieurs personnes à partir d'une image RGB monoculaire
Estimation 3D à un seul coup de la posture de plusieurs personnes à partir d'une image RGB monoculaire
Résumé
Nous proposons une nouvelle méthode à une seule prise (single-shot) pour l’estimation 3D de la posture de plusieurs personnes dans des scènes générales à partir d’une seule caméra RGB monoscopique. Notre approche utilise de nouvelles cartes de posture robustes aux occlusions (ORPM, occlusion-robust pose-maps), qui permettent d’inférer la posture complète du corps même en cas d’occlusions partielles importantes causées par d’autres personnes ou objets présents dans la scène. Les ORPM produisent un nombre fixe de cartes, chacune encodant les positions 3D des articulations de toutes les personnes présentes dans la scène. L’association des parties du corps permet d’estimer la posture 3D d’un nombre arbitraire de personnes, sans nécessiter de prédiction explicite de boîtes englobantes (bounding boxes). Pour entraîner notre méthode, nous introduisons MuCo-3DHP, le premier grand jeu de données d’entraînement comprenant des images réelles de scènes complexes impliquant plusieurs personnes avec des occlusions réalistes. Nous avons synthétisé un vaste corpus d’images à plusieurs personnes en superposant des images de personnes individuelles (avec des annotations 3D provenant d’un système de capture de mouvement multi-vues). Nous évaluons notre méthode sur un nouveau jeu de test 3D à plusieurs personnes, MuPoTs-3D, particulièrement exigeant, où nous atteignons des performances de pointe. Pour stimuler davantage la recherche en estimation 3D de posture à plusieurs personnes, nous mettrons à disposition publiquement, à des fins de recherche, nos nouveaux jeux de données ainsi que le code associé.