HyperAIHyperAI

Command Palette

Search for a command to run...

NDC-Szene: Verbesserung der monokularen 3D semantischen Szenevervollständigung im Normalized Device Coordinates Raum

Jiawei Yao* Chuming Li* Keqiang Sun* Yingjie Cai Hao Li Wanli Ouyang† Hongsheng Li†

Zusammenfassung

Die Monokulare 3D-Semantische Szenevervollständigung (SSC) hat in den letzten Jahren aufgrund ihrer Fähigkeit, komplexe Semantiken und geometrische Formen aus einem einzelnen Bild vorherzusagen, ohne 3D-Eingaben zu benötigen, erhebliche Aufmerksamkeit erhalten. In dieser Arbeit identifizieren wir mehrere kritische Probleme der aktuellen Stand-of-the-Art-Methoden, darunter die Merkmalsambiguität (Feature Ambiguity) der projizierten 2D-Merkmale entlang des Strahls im 3D-Raum, die Pose-Ambiguität der 3D-Faltung und das Rechenungleichgewicht (Computation Imbalance) der 3D-Faltung auf verschiedenen Tiefenebenen. Um diese Probleme anzugehen, entwickeln wir ein neues Netzwerk zur Szenenvervollständigung in Normalisierten Gerätekoordinaten (NDC-Scene), das die 2D-Merkmalskarte direkt in einen Raum von Normalisierten Gerätekoordinaten (NDC) erweitert, anstatt sie direkt in den Weltraum zu transformieren, durch schrittweise Wiederherstellung der Tiefendimension mit Deconvolutionsoperationen. Die experimentellen Ergebnisse zeigen, dass der Transfer des Großteils der Berechnungen vom Ziel-3D-Raum in den vorgeschlagenen Raum von normalisierten Gerätekoordinaten die monokularen SSC-Aufgaben vorteilhaft beeinflusst. Zudem haben wir einen tiefenadaptiven Doppeldekoder (Depth-Adaptive Dual Decoder) konzipiert, um gleichzeitig die 2D- und 3D-Merkmalskarten aufzuschalen und zu fusionieren, was die Gesamtleistung weiter verbessert. Unsere umfangreichen Experimente bestätigen, dass die vorgeschlagene Methode konsistent bessere Ergebnisse als aktuelle Stand-of-the-Art-Methoden sowohl auf den Outdoor-Datensatz SemanticKITTI als auch auf dem Indoor-Datensatz NYUv2 erzielt. Unser Code ist unter https://github.com/Jiawei-Yao0812/NDCScene verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp