UniSeg3D 3D-Szenenverständnis-Framework

UniSeg3D ist ein einheitliches Framework zum Verständnis von 3D-Szenen, das 2024 von Forschern der Huazhong University of Science and Technology vorgeschlagen wurde.Ein einheitlicher Rahmen für das Verständnis von 3D-Szenen", veröffentlicht in NeurIPS 2024. Das Framework kann 6 verschiedene 3D-Punktwolkensegmentierungsaufgaben innerhalb desselben Modells implementieren, darunter panoptische Segmentierung, semantische Segmentierung, Instanzsegmentierung, interaktive Segmentierung, verweisende Segmentierung und Segmentierung mit offenem Vokabular.

Das niSeg3D-Framework vereint diese Aufgaben in einem einzigen Modell und erleichtert den Informationsaustausch zwischen Aufgaben durch gemeinsame Darstellungs- und Verarbeitungsmechanismen, wodurch das allgemeine Verständnis von 3D-Szenen verbessert wird. Das Framework entwickelt Methoden zur Wissensdestillation und zum kontrastiven Lernen, um spezifisches Wissen zwischen verschiedenen Aufgaben zu übertragen und so die Modellleistung zu verbessern.

Im experimentellen Teil zeigte UniSeg3D in drei Benchmarks (ScanNet20, ScanRefer und ScanNet200) eine Leistung, die die aktuellen State-of-the-Art-Methoden (SOTA) übertrifft.