Command Palette
Search for a command to run...
Kantenbewusstes 3D-Instanzsegmentierungsnetzwerk mit intelligentem semantischem Prior
Kantenbewusstes 3D-Instanzsegmentierungsnetzwerk mit intelligentem semantischem Prior
Sangpil Kim Sang Ho Yoon Hyunje Park Jinseop Yeom Giljoo Nam Hwanhee Jung Wonseok Roh
Zusammenfassung
Obwohl neuere Ansätze zur 3D-Instanzsegmentierung auf Basis von Transformer-Architekturen vielversprechende Ergebnisse erzielen, scheitern sie häufig bei der korrekten Identifizierung von Instanzen mit ähnlichen Erscheinungsbildern. Zudem bestimmen sie Kanten unscharf, was zu mehrfachen Fehlklassifizierungen benachbarter Kantenpunkte führt. In dieser Arbeit stellen wir einen neuartigen Ansatz namens EASE vor, um diese Herausforderungen zu überwinden und die Wahrnehmung komplexer 3D-Instanzen zu verbessern. Zunächst führen wir ein semantisches Anleitungsnetzwerk ein, das reichhaltiges semantisches Wissen aus einem Sprachmodell als intelligente Prioritäten nutzt, um das funktionale Verständnis realer Instanzen über die reine geometrische Information hinaus zu erweitern. Wir instruieren die grundlegenden Instanzabfragen explizit mittels Textembeddings jeder Instanz, um tiefe semantische Details zu lernen. Darüber hinaus nutzen wir ein Kantenprädiktionsmodul, das das Segmentierungsnetzwerk zur Kantenbewusstheit anregt. Wir extrahieren voxelweise Kantenkarten aus Punktmerkmalen und verwenden sie als ergänzende Information zur Lernung von Kanteninformationen. In umfangreichen Experimenten an großen Benchmarks wie ScanNetV2, ScanNet200, S3DIS und STPLS3D übertrifft unser EASE bestehende State-of-the-Art-Modelle und demonstriert damit seine überlegene Leistung.