ScanNet: 실내 장면의 풍부한 주석이 달린 3D 재구성

감독된 딥 러닝 방법을 활용하기 위한 핵심 요구사항은 대규모의 라벨링된 데이터셋의 확보입니다. 불행히도, RGB-D 장면 이해의 맥락에서 사용할 수 있는 데이터는 매우 제한적입니다. 현재 데이터셋들은 제한된 범위의 장면 시점과 한정된 의미 주석만을 포함하고 있습니다. 이 문제를 해결하기 위해, 우리는 3D 카메라 포즈, 표면 재구성, 그리고 의미 분할로 라벨링된 1513개의 장면에 걸친 250만 개의 시점을 포함하는 RGB-D 비디오 데이터셋인 ScanNet(스캔넷)을 소개합니다. 이 데이터를 수집하기 위해, 자동화된 표면 재구성을 포함하고 군중 소싱으로 의미 주석을 제공하는 사용이 쉽고 확장 가능한 RGB-D 캡처 시스템을 설계했습니다. 우리는 이 데이터가 3D 객체 분류, 의미 복셀 라벨링, CAD 모델 검색 등을 포함하는 여러 3D 장면 이해 작업에서 최신 성능을 달성하는 데 도움이 됨을 보여줍니다. 이 데이터셋은 http://www.scan-net.org에서 무료로 이용 가능합니다.