Mask3D: 3D 의미 인스턴스 분할을 위한 마스크 변환기

현대의 3D 의미 인스턴스 분할 접근 방식은 주로 전문적인 투표 메커니즘과 세심하게 설계된 기하학적 클러스터링 기술에 의존합니다. 최근 객체 검출 및 이미지 분할을 위한 트랜스포머 기반 방법들의 성공을 바탕으로, 우리는 3D 의미 인스턴스 분할을 위한 첫 번째 트랜스포머 기반 접근 방식을 제안합니다. 우리는 일반적인 트랜스포머 구성 요소를 활용하여 3D 포인트 클라우드에서 직접 인스턴스 마스크를 예측할 수 있음을 보여줍니다. 우리의 모델인 Mask3D에서는 각 객체 인스턴스가 인스턴스 쿼리로 표현됩니다. 트랜스포머 디코더를 사용하여, 인스턴스 쿼리는 여러 스케일에서 포인트 클라우드 특징에 반복적으로 주목하면서 학습됩니다. 포인트 특징과 결합하면, 인스턴스 쿼리는 병렬로 모든 인스턴스 마스크를 직접 생성합니다.Mask3D는 현재 최신 접근 방식들보다 여러 가지 장점이 있습니다. 이는 (1) 중심 등의 수동으로 선택된 기하학적 속성을 필요로 하는 투표 방식에 의존하지 않고, (2) 반경 등의 수동으로 조정된 하이퍼파라미터를 필요로 하는 기하학적 그룹화 메커니즘에 의존하지 않으며, (3) 인스턴스 마스크를 직접 최적화하는 손실 함수를 가능하게 합니다. Mask3D는 ScanNet 테스트 (+6.2 mAP), S3DIS 6-폴드 (+10.1 mAP), STPLS3D (+11.2 mAP), ScanNet200 테스트 (+12.4 mAP)에서 새로운 최고 성능을 달성하였습니다.