깊이 투사 3D 의미 분할

3D 포인트 클라우드의 의미 분할은 다양한 실제 응용 분야를 가진 어려운 문제입니다. 딥 러닝은 이미지 의미 분할 분야에서 혁신을 가져왔지만, 포인트 클라우드 데이터에 대한 그 영향은 아직 제한적입니다. 최근 3D 딥 러닝 접근법(3D-CNNs) 기반의 시도들은 예상보다 낮은 성과를 거두었습니다. 이러한 방법들은 기본 포인트 클라우드 데이터의 복셀화를 필요로 하며, 이는 공간 해상도가 감소하고 메모리 소비가 증가하는 결과를 초래합니다. 또한, 3D-CNNs는 주석이 달린 데이터셋의 부족으로 인해 크게 제약을 받습니다.본 논문에서는 3D-CNNs의 한계를 피하는 대안적인 프레임워크를 제안합니다. 3D 문제를 직접 해결하는 대신, 먼저 포인트 클라우드를 합성 2D 이미지 집합에 투영합니다. 이러한 이미지는 의미 분할을 위한 2D-CNN에 입력으로 사용됩니다. 마지막으로, 얻어진 예측 점수들을 다시 포인트 클라우드로 재투영하여 분할 결과를 얻습니다. 우리는 또한 색상, 깊이 및 표면 법선 등 여러 모달리티의 영향을 다중 스트림 네트워크 아키텍처에서 조사합니다. 실험은 최근 공개된 Semantic3D 데이터셋을 사용하여 수행되었습니다. 우리의 접근법은 이전 최고 접근법과 비교하여 상대적으로 7.9%의 성능 향상을 이루어 새로운 최고 수준(SOTA)을 설정하였습니다.