3D Multi-corps : Ajustement d'ensembles de modèles humains 3D plausibles à des données d'images ambiguës

Nous abordons le problème de l'obtention de reconstructions 3D denses d'individus à partir de vues uniques et partiellement occultées. Dans ces cas, les preuves visuelles sont généralement insuffisantes pour identifier une reconstruction 3D unique ; nous visons donc à récupérer plusieurs reconstructions plausibles compatibles avec les données d'entrée. Nous proposons que les ambiguïtés puissent être modélisées de manière plus efficace en paramétrant les formes corporelles et postures possibles grâce à un modèle 3D approprié, tel que SMPL (Shape and Motion capture with a Learned Model) pour les humains. Nous suggérons d'apprendre un régresseur neuronal multi-hypothèses en utilisant une perte du meilleur parmi M, où chacune des M hypothèses est contrainte de se situer sur une variété de postures humaines plausibles grâce à un modèle génératif. Nous démontrons que notre méthode surpasses les approches alternatives dans la récupération de poses ambiguës sur des benchmarks standard pour les humains 3D, ainsi que sur des versions fortement occultées de ces benchmarks.