DISN : Réseau de Surface Implicite Profonde pour une Reconstruction 3D de Haute Qualité à Partir d'une Vue Unique

La reconstruction de formes 3D à partir d'images monoculaires est un problème de recherche de longue date. Dans cet article, nous présentons DISN (Deep Implicit Surface Network), un réseau neuronal profond capable de générer une maillage 3D de haute qualité et riche en détails à partir d'une image 2D en prédissant les champs de distances signées sous-jacents. Outre l'utilisation des caractéristiques globales de l'image, DISN prédit la position projetée de chaque point 3D sur l'image 2D et extrait des caractéristiques locales des cartes de caractéristiques de l'image. La combinaison des caractéristiques globales et locales améliore considérablement la précision de la prédiction du champ de distances signées, en particulier pour les zones riches en détails. Selon nos connaissances, DISN est la première méthode qui capture constamment des détails tels que les trous et les structures fines présents dans les formes 3D à partir d'images monoculaires. DISN atteint des performances de reconstruction monoculaire d'avant-garde sur diverses catégories de formes reconstruites à partir d'images synthétiques et réelles. Le code source est disponible à l'adresse suivante : https://github.com/xharlie/DISN. Les documents supplémentaires peuvent être consultés ici : https://xharlie.github.io/images/neurips_2019_supp.pdf