초록
우리는 실내 환경에서 RGB-D 스캔의 3차원 의미 장면 분할을 위한 새로운 방법인 3DMV를 제시합니다. 이 방법은 기존 방법들이 이 작업에 기하학적 데이터 또는 RGB 데이터 중 하나만 사용하는 것과 달리, 양쪽 데이터 모달리를 결합하여 단일, 엔드투엔드 네트워크 구조를 사용합니다. 단순히 색상 데이터를 볼루메트릭 그리드로 투영하고 오직 3차원에서만 작동시키는 방식(이는 충분한 세부 정보를 제공하지 못함)이 아닌, 먼저 연관된 RGB 이미지들로부터 특징 맵을 추출합니다. 이러한 특징들은 미분 가능한 역투영 레이어를 통해 3D 네트워크의 볼루메트릭 특징 그리드로 매핑됩니다. 우리의 목표가 가능한 많은 프레임을 가진 3D 스캐닝 시나리오인 점을 고려하여, 다양한 수의 RGB 입력 뷰를 처리하기 위해 다중 뷰 풀링 접근법을 사용합니다. 이 학습된 RGB와 기하학적 특징의 조합은 우리의 공동 2D-3D 아키텍처를 통해 기존 베이스라인보다 현저히 더 좋은 결과를 달성하였습니다. 예를 들어, ScanNet 3D 분할 벤치마크에서 우리의 최종 결과는 기존 볼루메트릭 아키텍처와 비교해 정확도가 52.8%에서 75%로 증가하였습니다.