NDC-Szene: Verbesserung der monokularen 3D semantischen Szenevervollständigung im Normalized Device Coordinates Raum

Die Monokulare 3D-Semantische Szenevervollständigung (SSC) hat in den letzten Jahren aufgrund ihrer Fähigkeit, komplexe Semantiken und geometrische Formen aus einem einzelnen Bild vorherzusagen, ohne 3D-Eingaben zu benötigen, erhebliche Aufmerksamkeit erhalten. In dieser Arbeit identifizieren wir mehrere kritische Probleme der aktuellen Stand-of-the-Art-Methoden, darunter die Merkmalsambiguität (Feature Ambiguity) der projizierten 2D-Merkmale entlang des Strahls im 3D-Raum, die Pose-Ambiguität der 3D-Faltung und das Rechenungleichgewicht (Computation Imbalance) der 3D-Faltung auf verschiedenen Tiefenebenen. Um diese Probleme anzugehen, entwickeln wir ein neues Netzwerk zur Szenenvervollständigung in Normalisierten Gerätekoordinaten (NDC-Scene), das die 2D-Merkmalskarte direkt in einen Raum von Normalisierten Gerätekoordinaten (NDC) erweitert, anstatt sie direkt in den Weltraum zu transformieren, durch schrittweise Wiederherstellung der Tiefendimension mit Deconvolutionsoperationen. Die experimentellen Ergebnisse zeigen, dass der Transfer des Großteils der Berechnungen vom Ziel-3D-Raum in den vorgeschlagenen Raum von normalisierten Gerätekoordinaten die monokularen SSC-Aufgaben vorteilhaft beeinflusst. Zudem haben wir einen tiefenadaptiven Doppeldekoder (Depth-Adaptive Dual Decoder) konzipiert, um gleichzeitig die 2D- und 3D-Merkmalskarten aufzuschalen und zu fusionieren, was die Gesamtleistung weiter verbessert. Unsere umfangreichen Experimente bestätigen, dass die vorgeschlagene Methode konsistent bessere Ergebnisse als aktuelle Stand-of-the-Art-Methoden sowohl auf den Outdoor-Datensatz SemanticKITTI als auch auf dem Indoor-Datensatz NYUv2 erzielt. Unser Code ist unter https://github.com/Jiawei-Yao0812/NDCScene verfügbar.