Command Palette
Search for a command to run...
Un réseau de génération de nuages de points pour la reconstruction d'objets 3D à partir d'une seule image
Un réseau de génération de nuages de points pour la reconstruction d'objets 3D à partir d'une seule image
Fan Haoqiang Su Hao Guibas Leonidas
Résumé
La génération de données 3D à l’aide de réseaux neuronaux profonds suscite un intérêt croissant au sein de la communauté scientifique. La majorité des travaux existants s’appuie sur des représentations régulières telles que des maillages volumétriques ou des ensembles d’images ; toutefois, ces représentations masquent l’invariance naturelle des formes 3D face aux transformations géométriques et souffrent également de divers autres inconvénients. Dans cet article, nous abordons le problème de la reconstruction 3D à partir d’une seule image, en produisant une forme directe de sortie : les coordonnées d’un nuage de points. Parallèlement à ce problème émerge une question originale et intéressante : la forme réelle (groundtruth) associée à une image d’entrée peut être ambiguë. Inspirés par cette sortie atypique et par l’ambiguïté intrinsèque du groundtruth, nous proposons une architecture, une fonction de perte et un paradigme d’apprentissage novateurs et efficaces. Notre solution finale est un échantillonneur conditionnel de formes, capable de prédire plusieurs nuages de points 3D plausibles à partir d’une seule image d’entrée. Les expériences montrent non seulement que notre système surpasse les méthodes de pointe sur les benchmarks de reconstruction 3D à partir d’images uniques, mais aussi qu’il obtient de bons résultats en complétion de formes 3D et une capacité prometteuse à produire plusieurs prédictions plausibles.