EPP-MVSNet: 다중 시점 스테레오를 위한 에피폴라 어셈블링 기반 깊이 예측

본 논문에서는 다중 시점 스테레오(MVS)를 통한 3D 재구성에 대한 새로운 딥러닝 네트워크인 EPP-MVSNet을 제안한다. EPP-MVSNet은 제한된 깊이 범위를 갖는 비용 볼륨에 고해상도에서 정확하게 특징을 집계할 수 있어, 효과적이고 효율적인 3D 구축을 가능하게 한다. 기존의 방법들이 이산적인 위치에서 특징 비용을 측정함으로써 3D 재구성 정확도에 영향을 미치는 반면, EPP-MVSNet은 에피폴라 선을 따라 적응형 간격을 기반으로 작동하는 에피폴라 어셈블링 기반 커널을 도입하여 이미지 해상도를 최대한 활용한다. 또한, 공간 기하 구조를 최소한의 중복성으로 설명할 수 있는 엔트로피 기반 정제 전략을 제안한다. 더불어, Pseudo-3D 컨볼루션을 통합한 경량화된 네트워크 구조를 설계하여 높은 정확도와 효율성을 동시에 달성하였다. 우리는 도전적인 데이터셋인 Tanks & Temples(TNT), ETH3D, DTU에서 광범위한 실험을 수행하였으며, 모든 데이터셋에서 우수한 성능을 달성하였고, 온라인 TNT 중간 벤치마크에서 최고의 F-Score를 기록하였다. 코드는 다음 주소에서 확인할 수 있다: https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/eppmvsnet.