CLOUDSPAM: Aggregated Point Clouds와 MoCo를 활용한 비라벨링 데이터에 대한 대조 학습을 통한 세그멘테이션 및 사전 학습

SegContrast는 실외 포인트 클라우드에서 대조 학습(contrastive learning)의 길을 열었다. 원래의 설정은 자율 주행 및 객체 탐지와 같은 응용 분야에서 개별 스캔을 대상으로 했다. 그러나 디지털 트윈 도시 및 도시 계획과 같은 모바일 맵핑 목적을 위해서는 실외 환경의 복잡성과 다양성을 완전히 포착하기 위해 대규모이고 밀도 높은 데이터셋이 필요하다. 본 논문에서는 SegContrast 방법을 재검토하고, 모바일 맵핑 데이터셋과 관련된 한계—특히 대조 쌍의 부족과 메모리 제약—을 극복하기 위해 적응시켰다. 대조 쌍의 부족을 해결하기 위해 이질적 데이터셋의 융합을 제안한다. 그러나 이러한 융합은 각 데이터셋의 포인트 클라우드 크기와 포인트 수의 다양성으로 인해 단순한 절차가 아니다. 따라서 할당된 메모리에 최적화된 포인트 클라우드 샘플 크기를 유지하면서도 방대한 수의 세그먼트를 생성할 수 있도록 데이터 증강 기법을 설계하였다. 이 방법론은 CLOUDSPAM이라 명명되었으며, 소규모 및 대규모 모바일 맵핑 포인트 클라우드 모두에 대해 자기지도 학습 모델의 성능을 보장한다. 전체적으로, 다양한 밀도와 클래스 다양성을 갖춘 데이터셋을 활용할 때의 이점을 입증하였다. CLOUDSPAM은 KITTI-360 데이터셋에서 최상위 성능을 기록하며 mIoU 63.6%를 달성했고, Toronto-3D 데이터셋에서는 2위를 기록했다. 마지막으로, 레이블링된 데이터의 10%만을 사용함에도 불구하고, 완전히 지도 학습된 대안 모델과 경쟁 가능한 성능을 달성하였다.