ViewNet: 소수 샘플 포인트 클라우드 분류를 위한 새로운 투영 기반 백본 구조 및 뷰 풀링

3차원 포인트 클라우드 관련 작업에 대해 다양한 접근 방식이 제안되었지만, 3차원 포인트 클라우드에 대한 소수 샘플 학습(few-shot learning, FSL)은 여전히 탐색이 부족한 분야이다. FSL에서는 전통적인 지도 학습과 달리, 학습 데이터와 테스트 데이터의 클래스가 겹치지 않으며, 모델은 매우 적은 수의 샘플로부터 미지의 클래스를 인식해야 한다. 기존의 3차원 포인트 클라우드에 대한 FSL 방법들은 포인트 기반 모델을 백본으로 사용하고 있다. 그러나 광범위한 실험과 분석을 통해 우리는 포인트 기반 백본이 FSL에 가장 적합한 접근 방식이 아님을 처음으로 입증한다. 그 이유는 (i) 3차원 포인트 기반 백본에서 사용되는 최대 풀링(max pooling) 연산이 많은 포인트의 특징을 버리기 때문에, 형태 정보를 표현하는 능력이 저하되며, (ii) 포인트 기반 백본이 가림 현상(occlusion)에 민감하기 때문이다. 이러한 문제를 해결하기 위해, 우리는 3차원 포인트 클라우드로부터 FSL을 수행하기 위해 투영 기반 및 2차원 컨볼루션 신경망 기반의 백본, 즉 ViewNet을 제안한다. 본 방법은 먼저 3차원 포인트 클라우드를 여섯 가지 다른 시점으로 투영하여 포인트 손실 문제를 완화한다. 또한, 보다 설명력 있고 구별 가능한 특징을 생성하기 위해, 다양한 투영 평면 조합을 다섯 그룹으로 결합하고 각 그룹에 대해 최대 풀링을 수행하는 View Pooling을 제안한다. ModelNet40, ScanObjectNN, ModelNet40-C 데이터셋에서 교차 검증을 수행한 실험 결과, 제안한 방법이 최첨단 기준 모델들을 일관되게 상회함을 확인하였다. 또한, 전통적인 이미지 분류 백본(예: ResNet)과 비교했을 때, 제안된 ViewNet은 포인트 클라우드의 다중 시점에서 더 구별 가능한 특징을 추출할 수 있음을 보였다. 또한 ViewNet이 다양한 FSL 헤드와 함께 사용 가능하며, 기존에 널리 사용되던 백본보다 성능이 향상됨을 입증하였다.