HyperAIHyperAI

Command Palette

Search for a command to run...

Scan2CAD: Lernen der CAD-Modellausrichtung in RGB-D-Scans

Armen Avetisyan Manuel Dahnert Angela Dai Manolis Savva Angel X. Chang Matthias Nießner

Zusammenfassung

Wir stellen Scan2CAD vor, eine neuartige datengetriebene Methode, die lernt, saubere 3D-CAD-Modelle aus einer Formendatenbank mit der rauschigen und unvollständigen Geometrie eines gängigen RGB-D-Scans auszurichten. Für eine 3D-Rekonstruktion einer Innenraumszene nimmt unsere Methode eine Reihe von CAD-Modellen als Eingabe entgegen und berechnet eine 9-fach freie Pose (9DoF), die jedes Modell mit der zugrunde liegenden Scangeometrie ausrichtet. Um dieses Problem anzugehen, erstellen wir einen neuen Scan-to-CAD-Ausrichtungsdatensatz basierend auf 1506 ScanNet-Scans mit 97607 annotierten Keypoint-Paaren zwischen 14225 CAD-Modellen aus ShapeNet und ihren entsprechenden Objekten in den Scans. Unsere Methode wählt eine Reihe repräsentativer Keypoints in einem 3D-Scan aus, für die wir Korrespondenzen zur CAD-Geometrie finden. Zu diesem Zweck entwickeln wir eine neuartige 3D-CNN-Architektur, die ein gemeinsames Einbettungsschema zwischen realen und synthetischen Objekten lernt und daraus ein Korrespondenz-Wärmebild (correspondence heatmap) vorhersagt. Basierend auf diesen Korrespondenz-Wärmebildern formulieren wir ein variationsbasiertes Energieminimierungsproblem, das eine gegebene Reihe von CAD-Modellen mit der Rekonstruktion ausrichtt. Wir evaluieren unseren Ansatz anhand unseres neu eingeführten Scan2CAD-Benchmarks, wo wir sowohl handgefertigte Merkmalsdeskriptoren als auch state-of-the-art CNN-basierte Methoden um 21,39 % übertrumpfen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp