PaMIR : Représentation Implicite Conditionnée par un Modèle Paramétrique pour la Reconstruction Humaine à Partir d'Images

La modélisation précise et robuste de personnages humains en 3D à partir d'une seule image est un défi considérable, et la clé pour résoudre ce problème mal posé réside dans la représentation 3D des modèles humains. Pour surmonter les limitations des représentations 3D classiques, nous proposons une représentation implicite conditionnée par un modèle paramétrique (Parametric Model-Conditioned Implicit Representation, PaMIR), qui combine le modèle corporel paramétrique avec une fonction implicite profonde libre-forme.Dans notre cadre de reconstruction basé sur PaMIR, nous introduisons un nouveau réseau neuronal profond conçu pour régulariser la fonction implicite profonde libre-forme en utilisant les caractéristiques sémantiques du modèle paramétrique. Cette approche améliore la capacité de généralisation dans des scénarios comportant des poses difficiles et diverses topologies vestimentaires.De plus, une nouvelle perte d'entraînement sensible aux ambiguïtés de profondeur est intégrée afin de résoudre ces ambiguïtés et permettre une reconstruction réussie des détails de surface même avec une référence corporelle imparfaite. Enfin, nous proposons une méthode d'optimisation de la référence corporelle visant à améliorer l'exactitude de l'estimation du modèle paramétrique et à renforcer la cohérence entre le modèle paramétrique et la fonction implicite.Grâce à la représentation PaMIR, notre cadre peut être facilement étendu aux scénarios d'entrée multi-images sans nécessiter de calibration multicaméra ni de synchronisation de pose. Les résultats expérimentaux montrent que notre méthode atteint des performances de pointe pour la reconstruction 3D d'humains à partir d'images dans les cas de poses difficiles et de types vestimentaires variés.