DELTAS: 깊이 추정을 위한 삼각화 및 희소점의 밀도화 학습

다중 시점 스테레오(Multi-view stereo, MVS)는 활성 깊이 센싱의 정확성과 단일 시점 깊이 추정의 실용성 사이에서 최적의 균형을 이루는 기술입니다. 3차원 합성곱 신경망(3D convolutional neural networks, CNNs)을 활용한 비용 체적 기반 접근법은 MVS 시스템의 정확성을 크게 향상시켰습니다. 그러나 이 정확성은 높은 계산 비용을 동반하여 실용적인 채택을 방해하고 있습니다. 비용 체적 접근법과 달리, 우리는 (a) 관심점에 대한 디스크립터를 감지하고 평가한 후, (b) 소수의 관심점을 매칭하고 삼각화하는 방법을 학습하고, 마지막으로 (c) CNNs를 사용하여 이 희소한 3D 점 집합을 밀도화하는 효율적인 깊이 추정 접근법을 제안합니다. 엔드투엔드 네트워크는 중간 2D 이미지와 3D 기하학적 감독 및 깊이 감독과 함께 깊은 학습 프레임워크 내에서 세 가지 단계를 효율적으로 수행합니다. 특히, 우리의 첫 번째 단계는 관심점 감지와 디스크립터 학습을 통해 자세 추정(pose estimation)을 보완합니다. 우리는 다양한 장면 길이에서 더 낮은 계산량으로 최신 수준의 깊이 추정 결과를 보여주며, 또한 우리의 방법론이 새로운 환경에도 일반화되며, 네트워크가 출력하는 디스크립터가 강력한 베이스라인들과 유리하게 비교된다는 것을 입증하였습니다. 코드는 https://github.com/magicleap/DELTAS 에서 확인할 수 있습니다.