LABELMAKER: RGB-D 트래잭터리에서 자동으로 의미적 레이블 생성하기

의미 주석은 인지 모델을 훈련하거나 평가하는 데 필수적이지만, 확보하는 데 매우 높은 비용이 든다. 본 연구는 인간의 개입 없이도 RGB-D 스캔에 대해 ScanNet과 같은 수준(또는 그 이상)의 정확도로 레이블을 생성할 수 있는 완전 자동화된 2D/3D 레이블링 프레임워크를 제안한다. 본 방법은 최신 세그멘테이션 모델의 앙상블과 신경 렌더링을 통한 3D 리프팅 기반으로 구성되어 있다. 우리는 LabelMaker 파이프라인의 효과성을 입증하기 위해 ScanNet 데이터셋에 대해 기존 수작업 레이블링 데이터셋보다 훨씬 우수한 레이블을 생성하고, 이전에 레이블이 없었던 ARKitScenes 데이터셋을 자동으로 레이블링하였다. 코드와 모델은 https://labelmaker.org 에서 공개되어 있다.