3달 전

다중 전략 범위 탐색을 갖춘 비용 볼륨 피라미드 네트워크를 이용한 다중 시점 스테레오

Shiyu Gao, Zhaoxin Li, Zhaoqi Wang
다중 전략 범위 탐색을 갖춘 비용 볼륨 피라미드 네트워크를 이용한 다중 시점 스테레오
초록

다중 시점 스테레오(Multi-view stereo)는 컴퓨터 비전 분야에서 중요한 연구 과제이지만 여전히 도전적인 문제로 남아 있다. 최근 들어 딥러닝 기반의 방법들이 이 과제에서 뛰어난 성능을 보여주고 있다. 계층적 깊이 맵 추정을 통해 거친 단계에서 세밀한 단계로 점진적으로 개선하는 비용 볼륨 피라미드 네트워크 기반의 방법들은 낮은 메모리 소비로도 유망한 성과를 거두고 있다. 그러나 이러한 방법들은 각 단계에서의 비용 볼륨 특성을 충분히 고려하지 못해, 모든 비용 볼륨 단계에 동일한 범위 탐색 전략을 적용하게 된다는 한계를 지닌다. 본 연구에서는 다중 시점 스테레오를 위한 새로운 비용 볼륨 피라미드 기반 네트워크를 제안하며, 각 단계에 맞는 다양한 탐색 전략을 도입한다. 서로 다른 깊이 범위 샘플링 전략을 선택하고 적응형 단모드 필터링을 적용함으로써, 저해상도 단계에서 더 정확한 깊이 추정이 가능하며, 반복적인 업샘플링을 통해 임의의 해상도로 깊이 맵을 복원할 수 있다. 본 연구는 DTU 및 BlendedMVS 데이터셋에서 광범위한 실험을 수행하였으며, 실험 결과 제안한 방법이 대부분의 최신 기술보다 뛰어난 성능을 보였다.