초록
우리는 다중 시점 이미지에서 깊이 추론을 위한 비용 체적 기반 신경망을 제안합니다. 우리는 전체 이미지 해상도에서 고정된 해상도로 비용 체적을 구성하는 대신, 거칠기부터 세밀하게 비용 체적 피라미드를 구축하는 것이 컴팩트하고 가벼운 네트워크를 만들며, 더 높은 해상도의 깊이 맵 추론을 통해 더 나은 재구성 결과를 얻을 수 있음을 보여줍니다. 이를 위해, 먼저 이미지의 가장 낮은 해상도에서 전방 평행면의 균일한 샘플링을 기반으로 비용 체적을 구축합니다. 그런 다음 현재 깊이 추정치가 주어진 경우, 픽셀 단위 깊이 잔차에 대해 반복적으로 새로운 비용 체적을 구성하여 깊이 맵 정교화를 수행합니다. 이 과정은 Point-MVSNet과 유사한 통찰력을 공유하며, 깊이를 반복적으로 예측하고 정교화하지만, 3D 점에 대한 Point-MVSNet과 비교해 비용 체적 피라미드를 사용하면 더 컴팩트하면서도 효율적인 네트워크 구조를 만들 수 있음을 보여줍니다. 또한 (잔차) 깊이 샘플링과 이미지 해상도 간의 관계에 대한 상세 분석을 제공하여, 컴팩트한 비용 체적 피라미드 구축 원칙으로 활용할 수 있습니다. 벤치마크 데이터셋에서의 실험 결과는 우리의 모델이 최신 방법들과 유사한 성능을 가지면서 6배 빠르게 작동할 수 있음을 보여줍니다. 코드는 https://github.com/JiayuYANG/CVP-MVSNet 에서 확인할 수 있습니다.