Scan2CAD: Lernen der CAD-Modellausrichtung in RGB-D-Scans

Wir stellen Scan2CAD vor, eine neuartige datengetriebene Methode, die lernt, saubere 3D-CAD-Modelle aus einer Formendatenbank mit der rauschigen und unvollständigen Geometrie eines gängigen RGB-D-Scans auszurichten. Für eine 3D-Rekonstruktion einer Innenraumszene nimmt unsere Methode eine Reihe von CAD-Modellen als Eingabe entgegen und berechnet eine 9-fach freie Pose (9DoF), die jedes Modell mit der zugrunde liegenden Scangeometrie ausrichtet. Um dieses Problem anzugehen, erstellen wir einen neuen Scan-to-CAD-Ausrichtungsdatensatz basierend auf 1506 ScanNet-Scans mit 97607 annotierten Keypoint-Paaren zwischen 14225 CAD-Modellen aus ShapeNet und ihren entsprechenden Objekten in den Scans. Unsere Methode wählt eine Reihe repräsentativer Keypoints in einem 3D-Scan aus, für die wir Korrespondenzen zur CAD-Geometrie finden. Zu diesem Zweck entwickeln wir eine neuartige 3D-CNN-Architektur, die ein gemeinsames Einbettungsschema zwischen realen und synthetischen Objekten lernt und daraus ein Korrespondenz-Wärmebild (correspondence heatmap) vorhersagt. Basierend auf diesen Korrespondenz-Wärmebildern formulieren wir ein variationsbasiertes Energieminimierungsproblem, das eine gegebene Reihe von CAD-Modellen mit der Rekonstruktion ausrichtt. Wir evaluieren unseren Ansatz anhand unseres neu eingeführten Scan2CAD-Benchmarks, wo wir sowohl handgefertigte Merkmalsdeskriptoren als auch state-of-the-art CNN-basierte Methoden um 21,39 % übertrumpfen.