2달 전

360SD-Net: 360° 스테레오 깊이 추정을 위한 학습 가능한 비용 체적

Ning-Hsu Wang; Bolivar Solarte; Yi-Hsuan Tsai; Wei-Chen Chiu; Min Sun
360SD-Net: 360° 스테레오 깊이 추정을 위한 학습 가능한 비용 체적
초록

최근, 엔드투엔드 학습 가능한 딥 뉴럴 네트워크는 원근법 이미지의 스테레오 깊이 추정에서 크게 성능을 향상시켰습니다. 그러나 등각 투영(equirectangular projection)으로 캡처된 360° 이미지는 3D 공간의 선이 2D 평면에 선으로 투영되지 않는 왜곡 문제로 인해 기존 방법을 직접 적용할 수 없습니다. 이 문제를 해결하기 위해, 상하 360° 카메라 쌍을 사용한 구면 디스파리티(spherical disparity)를 위한 새로운 아키텍처를 제안합니다. 또한, 왜곡 문제를 완화하기 위해 (1) 구면 좌표계에서 각 픽셀의 위치와 관계를 포착하는 추가 입력 브랜치와 (2) 학습 가능한 시프팅 필터를 기반으로 구성된 비용 체적(cost volume)을 제안합니다. 360° 스테레오 데이터가 부족하기 때문에, Matterport3D와 Stanford3D에서 두 개의 360° 스테레오 데이터셋을 수집하여 훈련과 평가에 활용하였습니다. 광범위한 실험과 점진적 분석(ablation study)을 통해 제안된 방법이 기존 알고리즘 대비 우수함을 검증하였습니다. 마지막으로, 소비자급 카메라 두 대로 실제 환경에서 촬영한 이미지에 대한 유망한 결과를 보여드립니다.