OccuSeg: 3D-Instanzsegmentierung mit Awareness für Besetztheit

3D-Instanzsegmentierung, die in zahlreichen Anwendungen im Bereich der Robotik und erweiterten Realität eine zunehmende Bedeutung erlangt, ist derzeit stark gefragt. Im Gegensatz zu 2D-Bildern, die projektive Beobachtungen der Umwelt darstellen, ermöglichen 3D-Modelle eine metrische Rekonstruktion von Szenen ohne Verdeckung oder Skalenambiguität. In diesem Artikel definieren wir den Begriff „3D-Occupancy-Größe“ als die Anzahl der Voxel, die jeweils von einer Instanz besetzt werden. Diese Größe zeichnet sich durch eine hohe Robustheit bei der Vorhersage aus und bildet die Grundlage für den vorgeschlagenen Ansatz OccuSeg, eine auf Occupancy-Awareness basierende Methode zur 3D-Instanzsegmentierung. Unser Multi-Task-Lernansatz generiert gleichzeitig sowohl Occupancy-Signale als auch Embedding-Darstellungen, wobei die Trainingsschritte für räumliche und Merkmals-Embeddings je nach ihrer Skalenempfindlichkeit angepasst werden. Unser Clustering-Verfahren profitiert von einer zuverlässigen Vergleichbarkeit zwischen der vorhergesagten Occupancy-Größe und der tatsächlich gruppierten Occupancy-Größe, was die korrekte Gruppierung schwieriger (hard) Beispiele fördert und eine Übersegmentierung vermeidet. Der vorgeschlagene Ansatz erreicht auf drei realen Datensätzen – ScanNetV2, S3DIS und SceneNN – state-of-the-art Ergebnisse und bleibt gleichzeitig hoch effizient.