OneFormer3D: 일체화된 점군 세그멘테이션을 위한 하나의 트랜스포머

3차원 포인트 클라우드의 의미론적, 인스턴스, 패노픽 세그멘테이션은 각각 독립적인 설계를 가진 작업 특화 모델을 통해 다뤄져 왔다. 이로 인해 모든 세그멘테이션 작업 간의 유사성과 그들 사이의 암묵적인 관계가 효과적으로 활용되지 못했다. 본 논문은 이러한 모든 작업을 통합적으로 해결하는 간단하고 효과적인 모델을 제안한다. 제안하는 모델인 OneFormer3D는 가변 가능한 커널 그룹을 사용하여 인스턴스 및 의미론적 세그멘테이션을 일관되게 수행한다. 각 커널은 인스턴스 또는 의미론적 카테고리에 대한 마스크 생성을 담당하며, 트랜스포머 기반 디코더를 통해 통합된 인스턴스 및 의미론적 쿼리를 입력으로 받아 학습된다. 이러한 설계는 단일 실행 내에서 엔드 투 엔드로 모델을 훈련할 수 있게 하여, 세 가지 세그멘테이션 작업에서 동시에 최고 성능을 달성할 수 있다. 특히, 본 연구의 OneFormer3D는 ScanNet 테스트 리더보드에서 1위를 차지하며, 기존 최고 성능보다 mAP50 기준 +2.1점 향상된 새로운 최고 기록을 수립했다. 또한, ScanNet의 의미론적, 인스턴스 및 패노픽 세그멘테이션에서 +21 PQ, ScanNet200에서는 +3.8 mAP50, S3DIS에서는 +0.8 mIoU의 최신 기술 수준 성능을 입증하였다.