자연스러운 3차원 구조를 활용한 포인트 클라우드 사전 훈련

3D 포인트 클라우드 데이터셋을 구축하는 데는 막대한 인적 노력이 필요하다. 따라서 대규모 3D 포인트 클라우드 데이터셋을 구축하는 것은 매우 어렵다. 이러한 문제를 해결하기 위해, 자연적인 3D 구조에서 관찰되는 프랙탈 기하학을 영감으로 삼아 공식 기반의 지도 학습을 채택한 새로운 유형의 포인트 클라우드 프랙탈 데이터베이스(PC-FractalDB)를 제안한다. 본 연구는 기존 3D 데이터셋보다 더 실제 세계적인 3D 패턴을 프랙탈 기하학을 학습함으로써 표현을 학습할 수 있다는 가정에 기반한다. 우리는 PC-FractalDB가 최근 3D 장면 이해 분야에서 발생하는 여러 데이터셋 관련 문제, 예를 들어 3D 모델 수집 및 인력 집약적인 레이블링 문제를 해결하는 데 어떻게 기여하는지 보여준다. 실험 결과에서는 PointContrast, 대조적 장면 맥락(Contrastive Scene Contexts, CSC), RandomRooms와 비교하여 ScanNetV2 및 SUN RGB-D 데이터셋에서 각각 최고 61.9%, 59.0%의 성능을 달성함을 확인하였다. 또한 PC-FractalDB로 사전 학습된 모델은 제한된 데이터로 학습할 때 특히 효과적이다. 예를 들어, ScanNetV2에서 학습 데이터의 10%만을 사용할 경우, PC-FractalDB 사전 학습된 VoteNet은 38.3%의 성능을 기록하며, CSC 대비 14.8% 높은 정확도를 보였다. 특히 주목할 점은, 본 연구에서 제안한 방법이 제한된 포인트 클라우드 데이터에서 3D 객체 탐지 사전 학습에 있어 최고의 성능을 달성했다는 점이다.