EFM3D: 3D 자기 중심 기반 모델로의 진전을 측정하기 위한 벤치마크

웨어러블 컴퓨터의 등장은 AI에 대한 새로운 형태의 맥락 정보를 제공하며, 이는 제 1인칭 센서 데이터에 내재된 정보를 의미한다. 이러한 새로운 제 1인칭 데이터는 정밀한 3차원(3D) 위치 정보를 포함하고 있어, 3D 공간에 기반한 새로운 유형의 공간 기반 모델(spatial foundation models)을 개발할 수 있는 기회를 제공한다. 우리가 제 1인칭 기반 모델(Egocentric Foundation Models, EFMs)이라 명명한 이 분야의 진전을 측정하기 위해, 두 가지 핵심적인 3D 제 1인칭 인식 과제를 포함하는 EFM3D라는 벤치마크를 제안한다. EFM3D는 프로젝트 아리아(Project Aria)의 고품질 레이블링 제 1인칭 데이터를 기반으로 한 3D 객체 탐지 및 표면 회귀(surface regression)에 대한 세계 최초의 벤치마크이다. 우리는 제 1인칭 기반 모델의 기준선으로 제 1인칭 복셀 리프팅(Egocentric Voxel Lifting, EVL)을 제안한다. EVL은 가용한 모든 제 1인칭 다중 모달리티(multimodalities)를 활용하며, 2D 기반 모델의 핵심 기능을 계승한다. 이 모델은 대규모 시뮬레이션 데이터셋으로 훈련되었으며, EFM3D 벤치마크에서 기존 방법들을 모두 상회하는 성능을 보였다.