Scan2CAD : Apprentissage de l'alignement des modèles CAO dans les scans RGB-D

Nous présentons Scan2CAD, une nouvelle méthode pilotée par les données qui apprend à aligner des modèles 3D CAD propres provenant d'une base de formes sur la géométrie bruyante et incomplète d'un scan RGB-D de consommation. Pour une reconstruction 3D d'une scène intérieure, notre méthode prend en entrée un ensemble de modèles CAD et prédit une pose à 9 degrés de liberté (9DoF) qui aligne chaque modèle sur la géométrie sous-jacente du scan. Pour aborder ce problème, nous créons un nouveau jeu de données d'alignement scan-to-CAD basé sur 1506 scans ScanNet avec 97607 paires de points clés annotées entre 14225 modèles CAD issus de ShapeNet et leurs objets correspondants dans les scans. Notre méthode sélectionne un ensemble de points clés représentatifs dans un scan 3D pour lesquels nous trouvons des correspondances avec la géométrie CAD. À cette fin, nous concevons une nouvelle architecture de réseau neuronal convolutif 3D (CNN) qui apprend une plongée conjointe entre des objets réels et synthétiques, et à partir de celle-ci prédit une carte thermique de correspondance. Sur la base de ces cartes thermiques de correspondance, nous formulons une minimisation d'énergie variationnelle qui aligne un ensemble donné de modèles CAD sur la reconstruction. Nous évaluons notre approche sur le nouveau benchmark Scan2CAD que nous introduisons, où nous surpassons à la fois les descripteurs de caractéristiques conçus manuellement et les méthodes basées sur CNN d'avant-garde avec une amélioration de 21,39 %.