일반 목적의 심층 포인트 클라우드 특징 추출기

자율주행 및 게임 시스템에서 사용되는 깊이 센서는 종종 3차원 점군(point clouds)을 출력한다. 이러한 센서에서 생성되는 점군은 구조가 부족하여 기존의 합성곱 신경망(Convolutional Neural Networks)이 전통적인 필터링 및 풀링 연산에 의존하는 최신 기술들을 효과적으로 활용할 수 없다. 이미지 기반의 합성곱 아키텍처와 유사하게, 최근에 제안된 그래프 기반 아키텍처는 임의의 그래프에 대해 유사한 필터링 및 풀링 연산을 가능하게 한다. 본 연구에서는 이러한 그래프 기반 기법을 3차원 점군에 적용하여, 3차원 그래프에 대한 일반적인 벡터 표현 방식을 제안하며, 이를 '그래프 3D(G3D)'라고 명명한다. 우리는 3차원 점군 데이터에 대해 대규모 전이 학습(transfer learning)을 처음으로 적용하였으며, 예측할 수 없는 테스트 세트에서 3차원 점군의 특징적인 잠재 표현(latent representation)의 구분 능력을 입증하였다. 본 연구에서 제안하는 G3D 네트워크(G3DNet)를 특징 추출기로 사용하고, 이를 표준 분류기와 결합함으로써 그래프 기반 네트워크로서 ModelNet10(93.1%) 및 ModelNet40(91.7%)에서 최고의 정확도를 달성하였으며, 시드니 도시 물체 데이터셋(Sydney Urban Objects dataset)에서도 다른 방법들과 비교해 유사한 성능을 보였다. 이와 같은 일반적인 특징 추출기는 다른 3차원 장면 이해 또는 물체 추적 작업에 즉시 활용 가능한 오프더쉘프(off-the-shelf) 구성 요소로 사용될 수 있다.