M4Depth: 미지 환경에서 자율 주행 차량을 위한 단일 카메라 깊이 추정

깊이 센서를 사용할 수 없는 경우, 물체까지의 거리를 추정하는 것은 자율주행 차량에게 매우 중요하다. 이 경우, 차량 내부에 장착된 RGB 카메라로부터 거리를 추정해야 하는데, 자연 외부 환경과 같은 복잡한 환경에서는 특히 어려운 과제이다. 본 논문에서는 깊이 추정을 위한 새로운 방법인 M4Depth를 제안한다. 먼저, 연속된 두 프레임 간의 시각적 차이(disparity)와 깊이 사이에 일대일 대응 관계를 설정하고, 이를 활용하여 운동 불변(motion-invariant)인 픽셀 단위의 깊이 추정을 수행하는 방법을 제시한다. 이후, 각 레벨에서 두 개의 맞춤형 비용 볼륨(cost volume)을 사용하여 입력된 차이 지도를 정교화하는 피라미드형 컨볼루션 신경망 아키텍처를 기반으로 한 M4Depth를 상세히 설명한다. 이러한 비용 볼륨을 통해 운동에 의해 발생하는 시공간적 제약 조건을 활용하고, 다양한 환경에 대해 네트워크의 강건성을 높인다. 제안한 방법은 다양한 외부 환경에서 촬영된 합성 카메라 궤적을 포함하는 공개 데이터셋을 대상으로 테스트 및 일반화 성능을 평가하였다. 실험 결과, 제안한 네트워크는 해당 데이터셋에서 최첨단 기술들을 능가하는 성능을 보였으며, 기존의 표준 깊이 추정 벤치마크에서도 우수한 성능을 기록하였다. 본 연구의 코드는 공개되어 있으며, https://github.com/michael-fonder/M4Depth 에서 확인할 수 있다.