Une fonction de perte efficace pour la génération de modèles 3D à partir d'une seule image 2D sans rendu

Le rendu différentiable est une technique très réussie appliquée à la reconstruction 3D à partir d’une seule vue. Les rendus actuels utilisent des pertes basées sur les pixels entre une image rendue d’un objet 3D reconstruit et des images de référence issues de points de vue correspondants, afin d’optimiser les paramètres de la forme 3D. Ces modèles nécessitent une étape de rendu, ainsi qu’un traitement de la visibilité et l’évaluation du modèle d’ombrage. L’objectif principal de cet article est de démontrer que l’on peut s’affranchir de ces étapes tout en obtenant des résultats de reconstruction comparables, voire supérieurs, à ceux des modèles les plus avancés actuels, et même meilleurs que les méthodes spécifiques à une catégorie existantes. Premièrement, nous utilisons la même architecture de réseau de neurones convolutifs (CNN) pour la prédiction de la forme en nuage de points et de la pose, comme celle employée par Insafutdinov & Dosovitskiy. Deuxièmement, nous proposons une nouvelle fonction de perte efficace, qui évalue avec quelle précision les projections du nuage de points 3D reconstruit couvrent la silhouette de l’objet de référence. Ensuite, nous appliquons une reconstruction de surface par méthode de Poisson pour transformer le nuage de points reconstruit en maillage 3D. Enfin, nous réalisons une cartographie de texture basée sur un GAN sur un maillage 3D particulier, afin de produire un maillage 3D texturé à partir d’une seule image 2D. Nous évaluons notre méthode sur plusieurs jeux de données (notamment ShapeNet, CUB-200-2011 et Pascal3D+) et obtenons des résultats de pointe, surpassant tous les autres méthodes supervisées et non supervisées, ainsi que toutes les représentations 3D existantes, tant en termes de performance, d’exactitude que de temps d’entraînement.