에피폴라 제약이 다중 뷰 스테레오에서 비국소 연산자와 만나다

학습 기반 다중 시점 스테레오(MVS) 방법은 특징 매칭에 크게 의존하며, 이는 독특하고 설명력 있는 표현을 필요로 합니다. 효과적인 해결책은 Transformer와 같은 비국소적 특징 집계를 적용하는 것입니다. 이러한 기술이 유용함에도 불구하고, MVS에 대한 중대한 계산 부담을 초래합니다. 각 픽셀이 전체 이미지에 밀집하여 주의를 기울입니다. 반면, 우리는 비국소적 특징 강화를 선 쌍 내에서 제약하는 방안을 제안합니다: 각 점은 해당하는 에피폴라선 쌍만 주의를 기울입니다. 우리의 아이디어는 한 점이 서로 다른 깊이 가설로 인해 다른 시점에서 에피폴라선으로 투사된다는 것을 보여주는 고전적인 에피폴라기하학에서 영감을 받았습니다. 이 제약은 스테레오 매칭에서 2D 검색 공간을 에피폴라선으로 줄입니다. 마찬가지로, 이는 MVS 매칭이 동일한 선 위에 있는 일련의 점들을 구분하는 것임을 시사합니다. 이 점-선 검색에서 영감을 받아, 우리는 선-점 비국소적 강화 전략을 설계했습니다. 먼저 최적화된 검색 알고리즘을 사용하여 2D 특징 맵을 에피폴라선 쌍으로 분할합니다. 그런 다음, 에피폴라 트랜스포머(ET)가 에피폴라선 쌍 사이에서 비국소적 특징 강화를 수행합니다. 우리는 ET를 학습 기반 MVS 베이스라인인 ET-MVSNet에 통합했습니다. ET-MVSNet은 DTU와 탱크 앤드 템플(Tanks-and-Temples) 벤치마크에서 뛰어난 재구성 성능과 높은 효율성을 달성했습니다. 코드는 https://github.com/TQTQliu/ET-MVSNet에서 제공됩니다.