모바일 매핑 포인트 클라우드를 위한 패노픽 세그멘테이션에 대한 종합 검토

3D 포인트 클라우드 패노픽 세그멘테이션은 (i) 각 포인트에 세분적 클래스를 할당하고 (ii) 각 클래스 내의 포인트들을 개체 인스턴스로 구분하는 복합적인 작업이다. 최근에는 깊이 있는 3D 신경망의 등장으로 인해 세분적 세그멘테이션 기술이 급속히 발전함에 따라, 이러한 포괄적인 3D 장면 이해에 대한 관심이 증가하고 있다. 그러나 현재까지 실외 모바일 매핑 데이터에 대한 패노픽 세그멘테이션에 관한 연구는 매우 제한적이며, 체계적인 비교 또한 이루어지지 않았다. 본 논문은 이러한 격차를 메우고자 한다. 먼저 패노픽 세그멘테이션 파이프라인을 구성하기 위해 필요한 구성 요소와 관련 연구를 종합적으로 검토한다. 또한 도로 매핑 맥락에서 패노픽 세그멘테이션의 현재 수준을 체계적이고 포괄적으로 평가하기 위해 모듈러한 파이프라인을 구축하였다. 부가적으로, NPM3D 데이터셋을 확장하여 인스턴스 레이블을 포함하도록 개선함으로써, 해당 작업을 위한 최초의 공개 데이터셋을 제공한다. 해당 데이터셋과 소스 코드는 모두 공개되어 있다. 또한, 현재의 패노픽 세그멘테이션 방법을 실외 환경과 대규모 객체에 적합하도록 조정하기 위해 필요한 적응 전략을 논의한다. 연구 결과, 모바일 매핑 데이터에 있어서 KPConv가 가장 우수한 성능을 보이나 처리 속도는 느리며, PointNet++은 가장 빠르지만 성능이 현저히 낮다. 반면, 스파스 CNN은 두 가지 사이의 성능을 보인다. 백본의 종류에 관계없이, 임베딩 특징을 기반으로 클러스터링을 통한 인스턴스 세그멘테이션은 좌표 이동을 활용하는 방법보다 더 우수한 성능을 보였다.