IB-MVS: 이진 결정을 기반으로 한 깊은 다중 뷰 스테레오를 위한 반복 알고리즘

다중 시점 스테레오(Multi-View Stereo)를 위한 새로운 딥러닝 기반 방법을 제시합니다. 본 방법은 각 픽셀에서 가능한 깊이 값의 연속 공간을 이진 결정 방식으로 순회하며, 고해상도와 높은 정밀도의 깊이 맵을 반복적으로 추정합니다. 결정 과정은 딥 네트워크 아키텍처를 활용하여, 각 픽셀의 실제 깊이가 현재 반복 단계에서 개별로 가정된 깊이보다 앞에 있는지 뒤에 있는지를 결정하는 픽셀별 이진 마스크를 계산합니다. 또한, 차단된 영역을 처리하기 위해 각 반복 단계에서 두 번째 네트워크가 추정한 픽셀별 가중치를 사용하여 다양한 소스 이미지의 결과를 융합합니다. 채택된 이진 결정 전략 덕분에 깊이 공간을 효율적으로 탐색할 수 있어, 본 방법은 해상도와 정밀도를 저하시키지 않고 고해상도 이미지를 처리할 수 있습니다. 이는 대부분의 다른 학습 기반 다중 시점 스테레오 방법과 달리, 깊이 공간의 명시적인 이산화가 큰 비용 체적(cost volumes) 처리를 요구한다는 점에서 차별화됩니다. 우리는 DTU, Tanks and Temples 및 어려운 ETH3D 벤치마크에서 본 방법을 최신 다중 시점 스테레오 방법들과 비교하고 경쟁력 있는 결과를 보여줍니다.