UniSeg3D 3D 장면 이해 프레임워크

UniSeg3D는 화중과학기술대학교 연구진이 2024년에 제안한 통합 3D 장면 이해 프레임워크입니다.3D 장면 이해를 위한 통합 프레임워크", NeurIPS 2024에 게재되었습니다. 이 프레임워크는 동일한 모델 내에서 전방위 분할, 의미 분할, 인스턴스 분할, 대화형 분할, 참조 분할 및 개방형 어휘 분할을 포함하여 6가지의 3D 포인트 클라우드 분할 작업을 구현할 수 있습니다.

niSeg3D 프레임워크는 이러한 작업을 단일 모델로 통합하여 공유 표현 및 처리 메커니즘을 통해 작업 간 정보 공유를 용이하게 하고, 이를 통해 3D 장면에 대한 전반적인 이해를 향상시킵니다. 이 프레임워크는 특정 지식을 서로 다른 작업 간에 전달하기 위해 지식 정제 및 대조 학습 방법을 설계하여 모델 성능을 향상시킵니다.

실험 부분에서 UniSeg3D는 세 가지 벤치마크(ScanNet20, ScanRefer 및 ScanNet200)에서 현재 최첨단 방법(SOTA)을 능가하는 성능을 보여주었습니다.