초록
이미지 매칭 작업에서 비용 집계(cost aggregation)는 노이즈가 섞인 매칭 점수를 해소하는 데 매우 중요한 과정이다. 기존의 방법들은 일반적으로 수작업으로 설계된 방식이나 CNN 기반 기법을 활용하지만, 이들은 심한 왜곡에 대해 강건성이 부족하거나, 수용 필드가 제한적이고 적응성이 낮아 잘못된 매칭을 구분하지 못하는 CNN의 한계를 그대로 이어받는다. 본 논문에서는 자기주의(self-attention) 메커니즘의 전역 수용 필드(global receptive fields)를 완전히 활용할 수 있도록 아키텍처 설계를 고려한, 초기 상관도 맵(correlation map) 간의 전역 일치성(global consensus)을 탐색함으로써 이 문제를 해결하는 'Transformer를 활용한 비용 집계(Cost Aggregation with Transformers, CATs)'를 제안한다. 또한, CATs가 겪을 수 있는 한계, 즉 표준 Transformer의 사용으로 인해 공간적 차원과 특징 차원의 크기에 따라 복잡도가 증가하는 고비용 문제로 인해 해상도가 제한적이며 성능이 제한적인 점을 완화하기 위해, CATs의 확장판인 CATs++를 제안한다. 제안한 방법들은 기존 최고 성능 기법들을 크게 능가하며, PF-WILLOW, PF-PASCAL, SPair-71k를 포함한 모든 벤치마크에서 새로운 최고 성능을 기록하였다. 또한 광범위한 아블레이션 스터디와 분석을 제공하여 제안 방법의 유효성을 입증하였다.