Helvipad: 실제 환경을 위한 전방위 스테레오 깊이 추정 데이터셋

스테레오 깊이 추정 분야에서의 진전에도 불구하고, 전방향 영상은 주로 적절한 데이터 부족으로 인해 여전히 충분히 연구되지 않고 있습니다. 우리는 전방향 스테레오 깊이 추정을 위한 실제 세계 데이터셋인 Helvipad를 소개합니다. 이 데이터셋은 다양한 환경, 특히 실내와 실외의 혼잡한 장면 및 다양한 조명 조건을 포함하는 4만 개의 비디오 프레임을 제공합니다. 상하 구조로 배치된 두 개의 360° 카메라와 LiDAR 센서를 사용하여 수집된 이 데이터셋은 3D 포인트 클라우드를 등각 투영 이미지(equirectangular images)에 투사하여 정확한 깊이와 불일치(disparity) 라벨을 포함하고 있습니다. 또한, 깊이 완성(depth completion) 기법을 사용하여 라벨 밀도를 증가시킨 확장된 학습 세트도 제공합니다. 우리는 표준 이미지와 전방향 이미지 모두에 대해 선두 스테레오 깊이 추정 모델들을 벤치마킹했습니다. 결과는 최근의 스테레오 방법들이 양호한 성능을 보이는 반면, 전방향 영상에서의 깊이 추정 정확도를 유지하는 데 여전히 어려움이 있음을 보여줍니다. 이를 해결하기 위해, 우리는 스테레오 모델에 필요한 적응(adaptations)을 도입하여 성능 향상을 이끌었습니다.