Command Palette
Search for a command to run...
SCPNet: Semantische Szenenkomplettierung auf Punktwolken
SCPNet: Semantische Szenenkomplettierung auf Punktwolken
Zhaoyang Xia Youquan Liu Xin Li Xinge Zhu Yuexin Ma Yikang Li Yuenan Hou Yu Qiao
Zusammenfassung
Die Schulung tiefer Modelle für die semantische Szenenkompletierung (Semantic Scene Completion, SSC) ist aufgrund der spärlichen und unvollständigen Eingabedaten, der großen Anzahl an Objekten unterschiedlicher Skalen sowie der inhärenten Label-Rauschkomponente bei beweglichen Objekten herausfordernd. Um diese Probleme anzugehen, schlagen wir die folgenden drei Lösungsansätze vor: 1) Neukonzeption des Kompletierungs-Subnetzwerks. Wir entwerfen ein neuartiges Kompletierungs-Subnetzwerk, das aus mehreren Multi-Path-Blöcken (Multi-Path Blocks, MPBs) besteht, um mehrskalige Merkmale zu aggregieren und frei von verlustbehafteten Downsampling-Operationen ist. 2) Wissensverdichtung aus einem Mehrframe-Modell. Wir entwickeln ein neuartiges Wissensverdichtungsziel, das als Dense-to-Sparse Knowledge Distillation (DSKD) bezeichnet wird. Es überträgt dichte, relationsbasierte semantische Informationen vom Mehrframe-Teacher-Modell auf das Einframe-Student-Modell und verbessert die Repräsentationslernleistung des Einframe-Modells erheblich. 3) Korrektur der Kompletierungslabels. Wir stellen eine einfache, jedoch wirksame Strategie zur Label-Korrektur vor, die standardisierte Panoptic-Segmentation-Labels nutzt, um die Spuren beweglicher Objekte in den Kompletierungslabels zu entfernen. Dadurch wird die Leistung tiefer Modelle, insbesondere bei beweglichen Objekten, erheblich verbessert. Umfassende Experimente werden an zwei öffentlichen SSC-Benchmarks durchgeführt, nämlich SemanticKITTI und SemanticPOSS. Unser SCPNet erreicht den ersten Platz im SemanticKITTI-Challenge-Wettbewerb für semantische Szenenkompletierung und übertrifft das starke S3CNet-Modell um 7,2 mIoU. SCPNet erzielt zudem bessere Ergebnisse als frühere Kompletierungsverfahren auf dem SemanticPOSS-Datensatz. Darüber hinaus erzielt unsere Methode auch konkurrenzfähige Ergebnisse bei den semantischen Segmentierungsaufgaben auf SemanticKITTI, was belegt, dass das im Szenenkompletierungsprozess erlernte Wissen auch für die Segmentierungsaufgabe von Nutzen ist.