2달 전

스테레오 매칭을 위한 반복 기하학적 인코딩 볼륨

Gangwei Xu; Xianqi Wang; Xiaohuan Ding; Xin Yang
스테레오 매칭을 위한 반복 기하학적 인코딩 볼륨
초록

Recurrent All-Pairs Field Transforms (RAFT)는 매칭 작업에서 큰 잠재력을 보여주고 있습니다. 그러나 모든 쌍의 상관관계는 비국소적 기하학적 지식이 부족하며, 불안정한 영역에서의 국소적인 모호성을 처리하는 데 어려움을 겪습니다. 본 논문에서는 새로운 딥 네트워크 아키텍처인 Iterative Geometry Encoding Volume (IGEV-Stereo)를 제안합니다. 제안된 IGEV-Stereo는 기하학적 정보와 문맥 정보, 그리고 국소 매칭 세부사항을 인코딩하는 결합된 기하학적 인코딩 볼륨을 구축하고, 이를 반복적으로 색인화하여 디스파리티 맵을 업데이트합니다. 수렴 속도를 높이기 위해, 우리는 GEV를 활용하여 ConvGRUs 반복의 정확한 시작점을 회귀합니다. 우리의 IGEV-Stereo는 모든 출판된 방법 중 KITTI 2015 및 2012 (반사성)에서 1위를 차지하였으며, 상위 10개 방법 중 가장 빠릅니다. 또한, IGEV-Stereo는 강력한 크로스 데이터셋 일반화 능력과 높은 추론 효율성을 가지고 있습니다. 우리는 또한 IGEV를 다중 시점 스테레오 (MVS)에 확장하여 IGEV-MVS를 제안하였으며, 이는 DTU 벤치마크에서 경쟁력 있는 정확도를 달성하였습니다. 코드는 https://github.com/gangweiX/IGEV에서 제공됩니다.