SPLATNet: 희소 격자 네트워크를 이용한 포인트 클라우드 처리

우리는 고차원 격자에서 희소 샘플 집합으로 표현된 점들의 모음을 직접 처리하는 점 클라우드 처리를 위한 네트워크 아키텍처를 제시합니다. 이 격자에 컨볼루션을 단순히 적용하면, 격자의 크기가 증가함에 따라 메모리와 계산 비용 측면에서 효율성이 크게 저하됩니다. 대신, 우리의 네트워크는 희소 양방향 컨볼루셔널 레이어를 구성 요소로 사용합니다. 이러한 레이어는 인덱싱 구조를 사용하여 컨볼루션을 격자의 점유된 부분에만 적용함으로써 효율성을 유지하며, 계층적이고 공간적으로 인지된 특성 학습 및 2D-3D 동시 추론을 가능하게 하는 격자 구조의 유연한 지정을 허용합니다. 이러한 레이어를 가진 네트워크에서는 점 기반 및 이미지 기반 표현을 쉽게 통합할 수 있으며, 결과적으로 생성된 모델은 엔드투엔드 방식으로 학습될 수 있습니다. 우리는 3D 세그멘테이션 작업에서 우리 접근법이 기존 최신 기술보다 우수한 성능을 보이는 결과를 제시합니다.